組織がシステム全体から収集するログの量は、指数関数的に増加しています。ソースは分散インフラストラクチャーからデータパイプラインや API まで多岐にわたり、ログの種類によって要求される処理も異なります。その結果、ログの管理はますます難しくなっています。組織は、長期保持、迅速なアクセス、費用対効果の高いストレージという相反するニーズを調整しなければなりません。一方、既存のソリューションでは、スキーマを維持し、複雑なクエリを書き、時間のかかる再インデックス操作を実行する必要があるため、独自のハードルが発生しがちです。こうしたことはすべて、可視性のギャップにつながり、最も緊急に必要なときに重要なデータに手が届かなくなる可能性があります。
そこで私たちは、このような問題に対処する Flex Logs をご紹介します。Flex Logs により、Datadog は、ユースケースを問わず、すべてのログを 1 つのプラットフォームで一元管理するソリューションを提供します。Flex Logs は、ログの取り込みをストレージから切り離し、Datadog のお客様が選択したものだけを保存しながら、ログの 100% をリッチ化、分析、アーカイブできるようにする Logging Without Limits™ によって提供される柔軟性をベースに、ログのストレージのコストをクエリのコストから切り離します。可視性を犠牲にすることなく、わずかな月額料金で短期および長期のログ保持を提供し、すべてのログ、メトリクス、トレース間の相関関係を合理化します。
この投稿では、Flex Logs でどのようなことができるかを紹介します。
ユースケースを問わず、すべてのログを 1 つのプラットフォームに統合
ログの多面的な有用性は、ログを管理するための万能のソリューションが存在しないことを意味します。組織はしばしば、インデックス化するかアーカイブするかというジレンマに直面します。インデックス化することで、データを迅速に検索できるようになるため、アプリケーションログなど、頻繁にクエリを実行し、リアルタイムのモニタリングやアラート設定に使用するログにはインデックス化は不可欠です。しかし、インデックス化はリソース集約的でコストがかかるため、ログのすべてをインデックス化することは、スケーリングが大きくなると現実的ではありません。アーカイブは、コンプライアンスやその他の目的のために長期的に保存する必要があるが、クエリの頻度が低く、緊急性があまりないログにとっては、より良いソリューションになる傾向があります。このようなログは、検索が必要になったときに、Datadog Log Rehydration™ を使用して取得することができます。
しかし、多くの場合、インデックス化もアーカイブも完璧なソリューションではありません。例えば、ネットワークアクティビティ、セキュリティイベント、ビジネストランザクションのログは、しばしば膨大な量で生成されます。アプリケーションログと比較すると、この種のログはめったにクエリされません。多くの場合、生成されてから数か月間だけでしょう。しかし、その時点では、ログをクエリすることは緊急の問題 (潜在的なセキュリティ侵害や不正行為の場合など) であることが多いです。
Flex Logs は、ストレージとコンピュートコストを切り離すことで、クエリパフォーマンスを損なうことなくログを長期保持するソリューションを提供します。Datadog ログ管理を使用すると、次のことが可能になります。
- アプリケーションログなど、短い期間 (例えば数日) で頻繁にクエリするログには、標準インデックス化を使用する
- 監査ログや構成ログなど、長期的 (数年単位) に保持する必要があるが、あまり緊急性がなく、頻繁にクエリしないログにはアーカイブを使用する
- セキュリティ、トランザクション、ネットワークログなど、大量に収集し、比較的長期間 (数か月または数年) 保持し、時々緊急にクエリする必要があるログには Flex を使用する
ここでは、金融サービス企業を例に挙げます。この組織が毎日何百万もの取引を実行するために使用しているサービスへの可視性は不可欠です。エンジニアリングチームは、通常少なくとも一度に数日間、これらの取引のログを迅速にクエリし、アラートを出す機能を必要としています。一方、不正行為を調査する必要がある場合に備えて、これらのログを長期的 (例えば、数か月間) に保持する必要もあります。Datadog ログ管理を使えば、すでにログをルーティングしているインデックスの構成で Flex Tier を有効にするだけで、短期的にも長期的にも意味のある保持期間を選択することができます。その結果、取引のログは、リアルタイムの調査やアラート設定に使用するために数日間「ホット」に保存され、アドホックな調査を迅速に行うために、事実の発生後何か月でも「ウォーム」に保存されます。
あるいは、毎日テラバイトのネットワークログを生成するビデオストリーミングプラットフォームを考えてみましょう。このようなログの量にもかかわらず、ネットワークアナリストがログをクエリする必要があるのは、1 日に数回程度かもしれません。CDN ログのインデックスで Flex Tier を有効にする (保持期間は最低 3 か月に設定する) ことで、このような大量のデータのインデックス化にかかる一般的なコストを負担することなく、即座にクエリ可能にすることができます。
可視性を犠牲にすることなくコストを抑制
Flex Logs は、コモディティストレージの価格帯 (月間 100 万イベントあたり 0.05 ドル) で、クエリを妨げることなくログを保持します。これにより、ニーズに応じて、組織内の各チームの一定レベルのコンピュートキャパシティを月額固定料金で割り当てることができます。Flex Tier ストレージでは、ログを 3 か月、6 か月、または 15 か月間保持することができます。
Flex Logs を使用すると、ストレージコストを増大させることなく、あらゆるログを一箇所で迅速に検索できます。ログエクスプローラーでは、標準ティアの完全にインデックス化されたログ (例えば、アプリケーションログなど頻繁にクエリされるデータ) のみを検索するか、Flex Logs を含むように検索を拡張するかを切り替えることができます。その結果、追加ツールの保守、複雑なクエリステートメントの記述、ターゲットとなる再インデックス化操作の実行といったロジスティクス上のオーバーヘッドを回避することができます。また、メトリクスやトレースなど、Datadog の他のデータとの相関もスムーズに行えます。
ログの価値を最大化
Flex Logs は、ストレージボリュームが増加してもコストが増加しないログ管理ソリューションを組織に提供します。規模に応じた包括的な観測可能性を実現し、急速に増加するログボリュームを管理する際にきめ細かな制御を可能にする一方、個々のチームには必要なデータへの迅速かつ一貫したアクセスを提供します。
Flex Logs は限定公開中です。Datadog ログ管理のユーザーは、このフォームで登録することで利用を始めることができます。Datadog が初めての方は、14 日間の無料トライアルにお申し込みください。