LLM Observability

Datadog LLM Observability は、LLM チェーンをエンドツーエンドでトレースし、各ステップでの入出力、エラー、トークンの使用状況、レイテンシーを可視化するとともに、出力品質とセキュリティを適切な形で評価します。Datadog で LLM トレースを APM とシームレスに相関させ、クラスター可視化を活用してドリフトを特定することで、正確性と安全性を確保しながら問題を迅速に解決。本番環境における AI アプリケーションのスケーリングをサポートします。

誤った / 不正確な回答のトラブルシューティングを迅速化

各ユーザーリクエストのエンドツーエンドのトレースを完全に可視化することで、LLM チェーンにおけるエラーや障害の根本原因を迅速に特定
LLM チェーンの各ステップにおけるインプットとアウトプットを分析することにより、失敗した LLM コール、タスク、サービスインタラクションなどの問題を解決
精度を評価し、埋め込みと検索のステップにおけるエラーを特定することにより、検索拡張生成 (RAG) を通じて得られた情報の関連性を向上

LLM アプリケーションの応答品質の評価と向上

品質評価をすぐに実施。回答漏れやトピックから外れた回答など、品質に関する問題を簡単に検出・軽減可能
幻覚 (ハルシネーション) を発見し、ユーザーフィードバックなどの重要な KPI を向上。カスタム評価で包括的な LLM 評価を実行
意味的に類似した低品質のプロンプトレスポンスクラスターを分離して LLM アプリを洗練させ、本番環境におけるドリフトを発見して対処

LLM アプリケーションのパフォーマンス向上とコスト削減

すぐに使える統合ダッシュボードで、コスト、レイテンシー、使用傾向など、LLM アプリケーションの主要な運用メトリクスを簡単に監視
エラーの急増、待ち時間、トークンの使用量などの異常をリアルタイムアラートで迅速に検出し、最適なパフォーマンスを維持
LLM チェーンの中で最もトークン負荷の高いコールをピンポイントで特定することで、コスト最適化の機会を即座に特定

LLM アプリケーションをセキュリティとプライバシーのリスクから保護

機密データスキャナーによる内蔵のセキュリティおよびプライバシースキャナーで、個人情報、電子メール、IP アドレスなどの機密データの漏えいを防止
プロンプト取り込みの自動フラグ設定により、レスポンス操作攻撃から LLM アプリケーションを保護します。

SDK を使えば数秒でセットアップ完了:

WHOOP Coach は、最新かつ最高の LLM AI を搭載しています。Datadog のLLM Observability により、当社のエンジニアリングチームはモデル変更のパフォーマンスを評価し、プロダクションのパフォーマンスを監視するとともに、コーチとの対話の質を高めることができるようになりました。LLM Observability を活用して、WHOOP は年中無休で全メンバーにコーチングを提供し、この仕組みを維持しています。

ボビー・ヨハンセン WHOOP 社ソフトウェア部門シニアディレクター

Datadog の LLM Observability ソリューションは、GenAI アプリケーションの使用状況とパフォーマンスの理解、デバッグ、評価に役立っています。このソリューションのおかげで、エンドユーザーにポジティブな体験を確実に提供しながら、ネガティブなインタラクションやパフォーマンス低下を防ぐためにレスポンス品質を監視するなど、現実に起こり得る問題に対処することができます。