The Service Map for APM is here!
FluentdとDatadogの連携 (補足編)

FluentdとDatadogの連携 (補足編)

/
Published: March 17, 2015

すでにTreasure Data様に、英語での素晴らし記事を提供していただいているので、Datadog Agent 5.2以降を使ったFluentdを監視するための設定記事は、そのポストが日本語版に翻訳されて掲載されるのを待つことにします。

今回のブログポストでは、現在ネット上に点在するFluentdとDatadogに関連する情報で、先のポストで十分表現されていない部分を補足したいと思います。

Datadog のFluentdインテグレーションの監視項目

インテグレーションの提供者である@takusさんがQiitaの「Datadog で Fluentd のバッファ監視をする方法」記事でも書かれているように、Datadogが公式に提供しているFluentdインテグレーションは、Fluentd本体の健康状態を把握する目的でバッファーの状況を取得する仕組みになっています。

具体的には、Fluentdのoutputプラグインの**retry*count, **bufferqueue*length, buffertotal*queued*sizeをDatadogで収集し、グラフ化したり、他のイベント事項と関連付けすることで、予防的な視点でFluentdの健康状態を把握することが出来ます。******

Fluentdで処理したログ情報のDatadogへの送信

Fluentd本体をDatadogで監視するということは、Fluentdで処理している各種のログ情報をDatadogで動的に可視化してインフラ全体の状況を把握することも目的に含まれるのではないかと思います。

Fluentd側に組み込むDatadog Pluginに関して

この目的のために、Fluentdのログ処理結果をDatadogへ送信するfluentdのpluginが次の2種類になります。

前者と後者のpluginを簡単に比較すると、以下のようになります。

項目fluent-plugin-ddfluent-plugin-datadog
公開元コミュニティー (winebarrel)Datadog (alq666)
公開開始2014/022013/09
version0.1.60.0.3
 備考単体でのgemインストールdogapiとpluginを手動インストール
deviceなどを含む各種オプションがある基本項目のみ

上記の状況を見ると、現状では特別な理由がない限りfluent-plugin-ddの選択で問題がないと思われます。

Fluentd側からメトリクスを送信するサンプル

Fluentdからメトリクスを送信するには、いろいろな準備と方法があります。 以下に紹介するブログで、Fluentd側で必要な処理が理解できると思いますので是非参考にしてください。


Datadogでは、全ての機能が体験できる14日間のフリートライアルを準備してしています。

Fluentdから出力されるメトリクスを動的に視覚化し、他のメトリクスやイベントと関連付けて、インフラの状況を把握しようと考えている場合は、Datadogを是非試してみてください。