Name: Datadog AI 워크로드를 위한 GPU Monitoring
Brand: Datadog

기능 개요

Datadog GPU Monitoring은 공유 GPU 플릿을 사용하는 워크로드 및 팀에 직접 디바이스 상태, 비용, 성능을 연결하여 공유 GPU 플릿 전반에 걸친 엔드투엔드 가시성을 제공합니다. 플랫폼 팀과 ML 팀은 GPU가 클라우드, 온프레미스 또는 네오클라우드 환경에 배포되었는지 여부에 관계없이 전체 플릿에 대한 통합된 뷰를 확보함으로써 자신 있게 프로비저닝하고 AI 딜리버리를 확장할 수 있습니다. GPU Monitoring은 선제적 알림과 실행 가능한 권장 사항을 통해 팀이 효율성을 최적화하고, 정체되거나 실패한 AI 워크로드를 해결하고, 하드웨어 이슈를 예방하고, 낭비되는 지출을 줄이는 데 도움이 됩니다.

DOCUMENTATION 보기 요금 보기

함께 사용하면 더 효과적인 제품

Agent Observability Infrastructure Monitoring

데이터 기반 프로비저닝 안내를 통해 AI 워크로드 확장

Datadog Agent에서 1개의 구성 플래그만 변경하여 하이퍼스케일러, 온프레미스 및 네오클라우드 공급자 전반에 걸친 전체 플릿의 규모와 지출을 통합 뷰에서 파악
조직 전반에 걸쳐 GPU를 더욱 공정하게 배분할 수 있도록 프로젝트, 서비스 또는 원하는 태그별로 조직의 GPU 사용량 분석 데이터를 추적
플랫폼 팀이 불필요한 구매를 방지하고 ML 팀이 기다리지 않고 GPU를 확보할 수 있도록 실제 용량 부족을 유휴 GPU나 비효율적으로 사용되는 GPU와 구분
GPU 수요를 예측하여 조달 주기 지연을 방지하고 보다 예측 가능한 지출 예산을 수립
좀비 프로세스에 묶인 GPU 회수와 같은 안내가 제공되는 최적화 작업을 통해 기존 용량의 ROI를 극대화

AI 처리량 증대 및 속도 저하 문제를 더 빠르게 해결

서로 연동되지 않은 여러 도구에서 제공되는 단편적인 신호를 조합하느라 헛수고하는 대신, 플랫폼 팀과 ML 팀 모두 공유하는 컨텍스트를 활용하여 정체된 워크로드를 트러블슈팅
초기화 중에 멈춘 파드나 하드웨어 상태 이슈로 인해 워크로드 속도 저하의 이유를 정확히 파악
GPU 요청이 충족되지 않은 워크로드 또는 클러스터에 대한 알림을 통해 리소스 경합을 사전에 탐지
GPU를 과도하게 예약했지만 활용률은 낮은 팀을 파악하여 올바른 워크로드에 적절한 용량이 배정되도록 함으로써 더 큰 비즈니스 가치를 창출

하드웨어 이슈로 인해 AI 딜리버리가 중단되지 않도록 예방

발열, 전력, 하드웨어 오류와 같은 하드웨어 상태를 워크로드 컨텍스트와 연결하여 상태가 불량한 GPU가 워크로드에 미치는 영향을 최소화
클러스터 전체에 장애가 단계적으로 확산되기 전에, 기본 제공 알림을 통해 서멀 스로틀링이 발생하는 불량 GPU를 격리
하드웨어 전문성 수준에 관계없이 모든 사용자가 기본 제공 알림 및 다음 단계 안내를 통해 ECC/XID 오류를 선제적으로 탐지하고 수정 가능
영향을 받는 호스트, GPU, 워크로드, 담당자를 자세히 파악하여 팀이 관련 이슈를 더 빨리 해결하고 출시 일정을 준수할 수 있도록 지원

타겟팅된 조치를 통해 GPU 비용 낭비 절감

원하는 기간 동안 원하는 태그를 기준으로 총 GPU 비용과 유휴 GPU 비용을 분석하여 다양한 워크로드, 팀, 서비스 전반에 걸쳐 지출이 집중되는 지점을 정확히 파악
내부 비용 정산을 위해 가장 낭비가 크거나 비효율적인 팀과 워크로드를 식별
이 보고 기능으로 비용 최적화를 일상 업무의 일부로 정착시켜 팀이 주도적으로 책임감을 갖고 GPU 사용량과 지출을 관리
낭비되는 GPU의 담당자와 직접 연동되는 즉시 사용 가능한 최적화 지침을 통해 용량을 회수하거나 재배분하거나 적정 규모로 조정