AI

LLM Observability

LLM 및 에이전틱 애플리케이션을 위한 모니터링, 문제 해결, 성능 향상, 보안 강화

저희 엔지니어링 팀은 Datadog LLM Observability로 프로덕션 성능을 모니터링하고 WHOOP Coach의 상호작용 및 응답 품질을 향상시킬 수 있었습니다. LLM Observability를 통해 모든 회원에게 원활한 코칭 서비스를 24시간 안정적으로 제공할 수 있습니다.

Bobby Johansen

Senior Director Software, WHOOP

LLM Observability는 생성형 AI 애플리케이션 성능을 모니터링하고 향상시키는 데 큰 도움이 됩니다. 사용자에게 긍정적인 경험을 제공하고 부정적인 상호 작용이나 성능 문제를 예방할 수 있게 합니다.

Kyle Triplett

VP of Product, AppFolio

기능 개요

Datadog LLM Observability는 대규모 언어 모델(LLM) 체인의 전 과정을 엔드투엔드로 추적하여, 각 단계에서의 입력과 출력 흐름, 오류, 토큰 사용량, 지연 시간까지 명확하게 파악할 수 있으며, 강력한 응답 품질 및 보안 평가 기능도 갖추고 있습니다. 또한, LLM 트레이스를 APM과 유기적으로 연계하고 클러스터 기반 시각화를 활용해 모델 성능의 변화를 식별함으로써, 운영 중인 AI 애플리케이션의 문제를 신속하고 정확하게 해결하며, 안정적으로 확장할 수 있도록 지원합니다.

자세히 보기

DOCUMENTATION 보기 요금 보기

함께 사용하면 더 효과적인 제품

Application Performance Monitoring Real User Monitoring

오류나 부정확한 응답을 빠르게 해결

사용자 요청을 LLM 체인 내에서 엔드투엔드로 추적해 오류 및 실패 원인을 신속하게 파악
LLM 체인의 각 단계에서 입출력을 분석하여 실패한 LLM 호출이나 작업, 서비스 간 상호 작용 문제를 해결
임베딩 및 검색 단계에서 정확도를 평가하고 오류를 식별함으로써, 검색 증강 생성(RAG)을 통해 얻은 정보의 관련성 향상

LLM 애플리케이션 문제를 신속하게 해결

LLM 애플리케이션의 응답 품질을 평가하고 개선

사전 구성된 품질 평가 기능을 통해 답변 누락, 주제를 이탈한 응답 등 품질 문제를 쉽게 감지하고 해결
환각 현상 탐지, 사용자 피드백 등 핵심 KPI 향상, 맞춤형 평가를 통한 LLM 성능을 종합적으로 진단
비슷한 유형의 저품질 프롬프트-응답 그룹을 분리해 프로덕션 환경에서 발생하는 드리프트를 식별하고 대응함으로써 LLM 앱을 정교하게 개선

LLM 애플리케이션의 응답 품질을 평가하고 개선

LLM 애플리케이션의 성능 개선 및 비용 절감

비용, 지연 시간, 사용량 트렌드 등 LLM 애플리케이션의 핵심 운영 메트릭을 사전 구성된 통합 대시보드에서 모니터링
오류, 지연 시간, 토큰 사용량 급증 등 이상 징후를 실시간 알림으로 신속하게 감지하여 최적의 성능을 유지
LLM 체인에서 토큰 사용량이 가장 많은 호출을 정확히 파악하여 비용 최적화 포인트 파악

LLM 애플리케이션의 성능 개선 및 비용 절감

보안 및 개인정보 위협으로부터 LLM 애플리케이션 보호

Sensitive Data Scanner가 기본 제공하는 보안 및 개인정보 스캐너를 통해 PII, 이메일, IP 주소 등 민감한 데이터 유출 방지
프롬프트 주입 시도를 자동으로 감지하고 표시하여 응답 조작 공격으로부터 LLM 애플리케이션 보호

보안 및 개인정보 위협으로부터 LLM 애플리케이션 보호

SDK로 빠르게 설정하세요.

리소스

LLM Observability

OFFICIAL DOCS

LLM Observability

Monitor, troubleshoot, improve, and secure your LLM applications with Datadog LLM Observability

BLOG

Monitor, troubleshoot, improve, and secure your LLM applications with Datadog LLM Observability

Detect hallucinations in your RAG LLM applications with Datadog LLM Observability

BLOG

Detect hallucinations in your RAG LLM applications with Datadog LLM Observability

Create and monitor LLM experiments with Datadog

BLOG

Create and monitor LLM experiments with Datadog

Building an LLM evaluation framework: best practices

BLOG

Building an LLM evaluation framework: best practices

AppFolio selects Datadog LLM Observability to monitor and optimize its AI applications

CASE STUDY

AppFolio selects Datadog LLM Observability to monitor and optimize its AI applications

다음 단계

지금 바로 Datadog 전제품을 14일 무료 체험으로 시작해 보세요.

자세히 보기

데모 요청하기

DOCUMENTATION 보기 요금 보기