Aaron Kaplan
Shri Subramanian
OpenAI は、自社製品に大規模言語モデルの GPT ファミリーを含む AI 研究開発企業です。2020 年の GPT-3 の登場以来、自然言語とコードの両方を流暢かつ適応的に処理するこれらのモデルは、様々なフィールドでの急速な普及を後押ししています。GPT-4、ChatGPT、InstructGPT は、ソフトウェア開発、コンテンツ制作などで幅広く利用されており、OpenAI の API により、開発者は最新の汎用 AI モデルにオンデマンドでアクセスすることができます。
Datadog の OpenAI インテグレーションは、OpenAI の API の利用状況を監視、評価、最適化するために使用することができます。この投稿では、インテグレーションを使用して以下のことを行うことをご紹介します。
OpenAI の利用パターンの追跡
OpenAI の製品の利用は急速に拡大しています。多様なチームやユーザーが同社のモデルを試して構築しているため、組織はこの利用状況を監視して理解することが重要です。
OpenAI の API は、様々なモデルやエンドポイントへのリクエストを受け付けます。使用コストはクエリしたモデルによって異なり、トークンの消費に基づいて決定されます。これは、プロンプト (OpenAI のモデルへのテキスト入力) と コンプリート (対応する出力) の全体の処理能力を構成する共通の文字のシーケンスです。モデルは、テキストの生成や分類、コードの記述といった専門性、微調整、埋め込みによって区別され、処理の高度さ、学習能力、リクエストを処理する速度も異なります。
Datadog の OpenAI インテグレーションには、すぐに使えるダッシュボードが付属しており、OpenAI のモデル、サービス、組織 ID、API キーごとに API リクエストを分解して、組織全体の利用傾向を把握することができます。組織 ID は個々のチームに割り当てることができ、OpenAI のモデルが組織内のどこでどの程度使われているかを追跡することが可能です。API キーによる追跡は、特定のユーザーによる使用量を分解することができ、使用量やコストの急増を属性化することが可能です。また、不正な API アクセスを特定のキーやユーザーまで遡って追跡することも可能です。
利用パターンを追跡するだけでなく、OpenAI の利用率や利用量を全体的に追跡することも重要で、API のレート制限 (1 分間のリクエストと 1 分間のトークン使用量の両方に適用) に違反しないようにする必要があります。 openai.ratelimit.requests と openai.ratelimit.remainingrequests メトリクスはリクエストの割合を測定し、openai.ratelimit.tokens と openai.ratelimit.remaining.tokens はトークン使用の割合を測定しています。トークンの使用率が高いと、レート制限を突破する可能性があるだけでなく、レイテンシーが増加する可能性があります。このインテグレーションで使用する推奨モニターは、これらのメトリクスを積極的に追跡し、レート制限エラーや過剰なレイテンシーに遭遇するのを避けることができるようにします。
OpenAI の利用状況をより詳細に把握するために、Python アプリケーションをインスツルメンテーションして、組織内のユーザーやアプリケーションを介して入力されたプロンプトと、それに対応する完了をキャプチャするログを収集することができます。デフォルトでは、トレースされたリクエストの 10% がプロンプトと完了を含むログを出力します。
OpenAI のプロンプトとコンプリートを可視化することで、アプリケーションに対するユーザーのエンゲージメントを理解し、それに応じてアプリケーションを最適化することができます。例えば、API リクエストの max_tokens や temperature パラメーターを調整してコストをコントロールしたり、ユーザーが受け取るクエリの応答の「ランダム性」を調整したい場合があります。
トークンの使用量に応じたコストの監視と配分
OpenAI API の利用は、トークンの消費量に応じて請求されます。トークンのコストはモデルによって大きく異なります。(GPT-4 を含む最新モデルでは、OpenAI はプロンプトトークンとコンプリートトークンの価格を別々に設定しています)。OpenAI API へのリクエストごとにトークンを消費するため、利用コストがかさむ可能性があります。
Datadog の OpenAI インテグレーションは、トークンの総消費量を追跡し、プロンプトトークンとコンプリーショントークンごとに分解することで、OpenAI 使用の主要なコストドライバーを理解することができます。すぐに使えるダッシュボードでは、リクエストごとの平均トークン総数や、リクエストごとの平均プロンプトトークン数、平均コンプリートトークン数 (すなわち、平均プロンプト長、平均コンプリート長) も追跡されます。
API のレスポンスタイムを分析し、トラブルシューティングとパフォーマンスの最適化を行う
内部の利用パターンやコストの追跡に加え、Datadog のインテグレーションは、OpenAI API のパフォーマンスを監視するのに役立ちます。様々なメトリクスで API のエラー率やレスポンスタイムを追跡し、すぐに使えるダッシュボードでは、使用中の各モデルとそれを使用しているサービスや組織についてこのデータを提供します。
すぐに使えるダッシュボードでは、レスポンスタイムとプロンプトトークンの量の比率も追跡できるため、本当に異常なレイテンシーとリクエストの急増による長時間のレスポンスを簡単に見分けることができます。
パフォーマンスの問題を深く理解するには、トレースを使用することができます。トレースとスパンは、クエリされた特定のモデル、プロンプトと完了の正確なコンテンツなど、個々のリクエストに関する豊富なコンテキスト情報を提供します。
組織の OpenAI 利用状況の把握と最適化
Datadog の OpenAI インテグレーションは、OpenAI の利用パターン、コスト、パフォーマンスに関する重要なインサイトを提供します。OpenAI の利用が組織内で急速に広がり続けている中、私たちのインテグレーションは、その広がりを追跡するだけでなく、様々なチームや進化するアプリケーション内での OpenAI モデルの利用を理解し最適化することを可能にします。ドキュメントをご覧になれば、今すぐ OpenAI の監視を始めることができます。Datadog を初めてご利用になる方は、14 日間の無料トライアルに登録してください。
