뉴욕 – Datadog, Inc. (NASDAQ: DDOG), AI 기반 옵저버빌리티 및 보안 플랫폼을 선도하는 Datadog 은 GPU Monitoring 의 정식 출시를 발표했다. 이번 신제품은 증가하는 AI 비용을 확장 가능하고 효과적으로 관리하려는 기업들이 직면한 핵심 과제 중 하나를 해결한다.

“GPU 인스턴스는 컴퓨팅 비용의 14%를 차지합니다. 이는 기업들이 확장 가능하고 스마트한 방식으로 AI 퍼스트 기술을 구축하려 할 때 큰 과제가 됩니다. 비용 증가 추이는 파악할 수 있지만, 사업 부문별 GPU 비용 배분이나 워크로드 컨텍스트 파악, 개선을 위한 명확한 실행 방안을 도출하기는 쉽지 않습니다. 그 결과 체계적인 예산 수립과 계획이 매우 어려워집니다.“라고 Datadog 최고 제품 책임자(CPO) 얀빙 리(Yanbing Li)는 말했다.

GPU Monitoring 의 출시는 단일 솔루션으로 AI 스택 전반에 걸친 통합 가시성을 제공하는 첫 사례 중 하나다. 고객은 GPU 플릿의 상태, 비용, 성능을 이를 사용하는 팀과 직접 연결한 단일 뷰를 통해 병목이 발생한 워크로드를 빠르게 파악하고 비용을 효율적으로 절감할 수 있다.

“리소스 비효율, 학습 및 추론 워크로드 지연, 비용 증가가 생기면 AI 비용 관리는 경영진의 핵심 아젠다로 부상합니다. GPU 비용 관리가 중요한 과제라는 점에는 모두 공감하지만, 대부분의 기업은 여전히 솔루션을 실험하는 단계에 머물러 있으며 스택 전반의 상황을 단일 뷰로 파악하는 데 어려움을 겪고 있습니다. GPU Monitoring 은 이전에는 확보하기 어려웠던 수준의 효율성과 안정성을 통해 이 문제를 해결합니다.“라고 얀빙은 덧붙였다.

현재 대부분의 GPU 도구들은 디바이스 상태에 대한 기본 지표만 제공할 뿐, 부서간 리소스 사용 불균형으로 인한 병목 문제를 드러내거나 학습 및 추론 워크로드 실패의 원인을 설명하지 못하고, 어떤 디바이스가 유휴 상태이거나 비효율적으로 사용되고 있는지에 대한 가시성도 부족하다. 이러한 가시성 부재는 조사 속도를 늦추고, 안전한 기본값에 대한 의존으로 리소스가 과도하게 프로비저닝되면서 결국 불필요한 비용으로 이어진다.

GPU Monitoring 은 플릿 전반의 텔레메트리를 이를 소비하는 워크로드와 직접 연결해 이러한 작업을 간소화하고, 플랫폼 엔지니어링 팀과 머신러닝 팀이 함께 문제를 분석할 수 있는 통합 뷰를 제공한다. 이를 통해 팀은 다음을 수행할 수 있다.

• 과도한 비용 없이 AI 확장: 플릿 사용 패턴에 대한 가시성과 예측을 바탕으로 신규 GPU 구매와 기존 GPU 활용 여부에 대한 명확한 가이드를 제공함으로써, 플랫폼 팀은 불필요한 구매와 긴 조달 사이클을 피하고, 머신러닝 팀은 더 빠르게 용량을 확보하며, 경영진은 예측 가능한 지출을 통해 더 높은 ROI 를 달성할 수 있다.
• AI 제공 속도 가속화: 중단된 워크로드를 GPU, 파드, 실행 프로세스와 직접 연계해 병목 원인을 신속히 파악하고 해결함으로써, 엔지니어는 AI 프로젝트 출시에 집중할 수 있다.
• 비용이 많이 드는 장애 방지: 비정상 GPU 를 사전에 식별해 장애가 클러스터 전체로 확산되기 전에 대응함으로써 학습 및 추론 지연을 방지한다.
• GPU 지출 ROI 극대화: 팀이 GPU 활용률과 비용을 직접 관리하고, 과잉 예약되거나 활용되지 않는 GPU 를 쉽게 파악할 수 있어 리소스를 회수하고 재할당함으로써 낭비되는 지출을 줄일 수 있다.

“Datadog GPU Monitoring 을 통해 멀티 테넌트 GPU 인프라를 손쉽게 관리할 수 있게 되었습니다. 별도의 설정 없이도 인스턴스와 디바이스별로 핵심 활용률, 메모리, 전력 및 온도 지표를 즉시 확인할 수 있습니다. 대시보드는 기본적으로 풍부한 기능을 제공하면서도 커스터마이징이 간편해, 고객별로 분리된 뷰를 구성하는 데에도 몇 분밖에 걸리지 않습니다.“라고 Hyperbolic 의 제품 총괄, 카이 후앙은 말했다. “여기에 LLM Observability 를 더하면 모든 것이 하나로 연결됩니다. 도구를 전환하지 않고도 모델 레이턴시 급증에서 기반 GPU 메트릭까지 한 번에 파악할 수 있습니다. 하나의 플랫폼에서 풀스택 AI 옵저버빌리티를 제공한다는 것은, 저희 팀과 고객 모두가 더 빠르고 자신 있게 움직일 수 있다는 의미입니다.”

GPU 모니터링은 현재 정식 출시(GA)되었다. 자세한 내용은 https://www.datadoghq.com/blog/datadog-gpu-monitoring/에서 확인할 수 있다.

Datadog 소개

Datadog 은 AI 기반 옵저버빌리티 및 보안 플랫폼을 선도하는 기업이다. Datadog 의 SaaS 플랫폼은 인프라 모니터링, 애플리케이션 성능 모니터링 (APM), 로그 관리, 사용자 경험 모니터링, 클라우드 보안 등 다양한 기능을 통합하고 자동화해 고객의 전체 기술 스택에 대한 통합된 실시간 옵저버빌리티와 보안을 제공한다. Datadog 은 전 세계 다양한 산업과 규모의 조직에서 디지털 전환과 클라우드 마이그레이션을 가속화하고, 개발·운영·보안·비즈니스 팀 간의 협업을 강화하며, 애플리케이션 출시 속도를 높이고 문제 해결 시간을 단축한다. 또한 애플리케이션과 인프라를 보호하고, 사용자 행동을 이해하며, 핵심 비즈니스 지표를 추적할 수 있도록 지원한다.

미래예측진술

본 보도자료에는 개정된 1933 년 증권법(Securities Act) 제 27A 조 및 개정된 1934 년 증권거래법(Securities Exchange Act) 제 21E 조의 의미에 따른 특정 “미래예측진술"이 포함될 수 있으며, 여기에는 신제품 및 신규 기능의 이점에 관한 진술이 포함된다. 이러한 미래예측진술은 현재 당사가 이용 가능한 정보와 당사가 설정한 가정을 기반으로 한 계획, 의도, 기대, 전략 및 전망에 대한 당사의 현재 견해를 반영한다. 실제 결과는 미래예측진술에 기술된 내용과 중대하게 다를 수 있으며, 이는 당사의 통제를 벗어난 다양한 가정, 불확실성, 위험 및 요인의 영향을 받는다. 여기에는 “위험 요인"이라는 제목 하에 기재된 위험과 그 밖에 당사의 미국 증권거래위원회(Securities and Exchange Commission, SEC) 제출 서류 및 보고서에 포함된 위험이 포함되며, 여기에는 2026 년 2 월 18 일 SEC 에 제출된 Form 10-Q 분기보고서와 당사가 향후 제출하는 보고서가 포함된다. 관련 법령에서 요구되는 경우를 제외하고, 당사는 새로운 정보, 향후 사건, 기대의 변화 또는 기타 사유로 인해 본 보도자료에 포함된 어떠한 미래예측진술도 업데이트할 의무나 책임을 부담하지 않는다.