Renaud Boutet
従来のログソリューションは、1 日のログの量をプロビジョニングしてコストを支払う必要があり、何らかの方法でサーバーサイドまたはエージェントレベルでフィルタリングしないと、すぐにコスト負担による制限を受けることになっていました。しかし、ログを送信する前にフィルタリングすると、必然的にカバレッジにギャップが生じ、有用なデータが除外されることがあります。その結果、ログが通常の運用時に生成されたログなのか、停止中または展開中に生成されたログなのかなど、事前に予測できない要因に基づいて、絶えず値が変化します。
Datadog のログ管理は、ログの取り込みをインデックスの作成から切り離すことでこのような制限を排除します。これにより、すべてのログをコスト効率よく収集、処理、およびアーカイブできます。Logging without Limits™ の新たなアプローチによって実現できることをご紹介します。
- トラブルシューティングや分析のために、インデックスを作成し保存するログを動的に選択します。また必要に応じて、フィルタをオーバーライドします。
- 追加コスト不要で、大量のログを長期クラウドストレージソリューションにアーカイブできます。
- インデックスを作成していないログを含めて、インフラストラクチャー全体で処理されたすべてのログの Live Tail の監視とクエリを行います。
最初にすべてを取得して後でフィルタリング
Logging without Limits™ では、収集するログや残すべきログを取捨選択する必要はありません。ログのすべてをコスト効率よく収集できます。取り込みのパイプラインは、クラウド規模のボリュームを処理するように構築されており、毎日、何テラバイトものログデータを送信できます。また、どのログがインデックスの作成に有用であるか、動的に決定できます。インデックスが作成されたログは、指定した保存期間（7 日間、15 日間など）にわたり、ファセット検索、ダッシュボード、および他の監視データソースとの相関に使用できます。
Unify your logs, metrics, and distributed traces with Datadog log management.
必要に応じて、有用なログのインデックスを作成
インフラストラクチャで何が起こっているのかに基づいて、インデックス作成ポリシーと保存ポリシーを即座にオーバーライドします。たとえば、インシデントの発生中は、効果的なトラブルシューティングのために最大限の可視性が必要です。Datadog の機能を使用すると、サーバーサイドでやっかいなフィルタリングポリシーを調整する必要はなく、関連するログのインデックスの作成をすぐに開始できます。
Datadog アカウントの Log Processing Pipelinesページでは、status、service、または image_name のような属性を使った検索クエリに基づき、どのログのインデックスを作成する必要があるのか、特定のルールを設定するフィルタを追加できます。以下のフィルタの例では、 status:debug に関連するすべてのログがインデックス作成から除外されます。システムの停止中は、ログを最大限に可視化できるように、この除外フィルタを即座に無効化できます。
インデックス作成ポリシーを微調整
すべてのフィルタのサンプリング率を制御できます。これにより、インデックスを作成するログの量を減らしながら、最も重要な傾向を追跡できます。以下のフィルタは、100 ミリ秒未満の応答時間であった NGINX アクセスログの 10 パーセントのインデックスを作成し、他の 90 パーセントを除外します。ログのサブセットのみインデックスを作成することにより、アクセスログの 90％ についてはインデックス作成と保持にかかるコストを抑えながら、分析し有用なインサイトを収集できます。
除外フィルタを有効または無効にできるのと同様、問題の調査に役立つ情報を確実に収集できるように、フィルタの除外パーセンテージも即座に調整できます。また、生成されるログの数が季節的な変動（例：ブラックフライデー）に基づいて増加する場合は、最も重要なログを監視しつつ、コストを抑えるために除外の割合を調整できます。
監査およびコンプライアンス目的のログアーカイブ
インデックスが作成されないログはどうなるでしょうか。収集されたログは、サーバーには残りませんが、追加コストなしで、お客様の長期クラウドストレージソリューションに転送されます。つまり、企業は運用の完全な履歴を維持でき、監査の目的のために非常に有用な情報となります。
[Log Processing Pipelines] ページの [Archives] セクションから、ログを Amazon S3 バケットにルーティングするように Datadog を設定できます（他のエンドポイントのサポートもあります）。
処理されたすべてのログを Live Tail で監視
Live Tail は、すべてのコンテナ、サーバー、アプリケーション、およびクラウドサービスから収集したログから有用なインサイトを抽出して活用する機能です。Live Tail は、インデックスの作成を除外したものも含めて、現在処理中のログのリアルタイムのストリームを表示します。1 台ずつサーバーに SSH 接続する必要はありません。
Log Explorer と同様に、 Live Tail は処理後のログを表示します。つまり、特定のホスト、サービス、アプリケーションからのログをクエリするためにドリルダウンしたり、他の有用なログ属性（例：ファイル名、HTTP メソッドなど）でフィルタリングしたりできます。Live Tail を使用すると、ニーズに応じて、展開の監視、新しいアプリケーションの追跡、またはユーザー操作のリアルタイム追跡が可能になります。
詳細に表示したいものがある場合は、単にフィードを一時停止するか、クリックして個々のログを調べます。さらにコンテキストを確認するには、ワンクリックで、ホストレベルのメトリクスや APM などの関連する監視データのソースに移動できます。
制限のないログ機能をぜひご利用ください
Datadog の製品では、これらすべてのログ管理機能を一般的に利用できます。データストレージの要件に対応しながら、トラブルシューティングやデバッグに必要なすべてのログには確実にアクセスできるようになります。Datadog を利用されるのがはじめてで、ログ、メトリクス、および分散リクエストのトレースを完全に統合されたシングルプラットフォームで監視したい場合は、 14 日間の無料トライアルをご利用ください。
