Data Streams Monitoring | Datadog
Data Streams Monitoring

Data Streams Monitoring

ストリーミングデータパイプラインのパフォーマンスをエンドツーエンドで簡単に追跡し、改善します。

Datadog Data Streams Monitoring(DSM)を使用すると、KafkaやRabbitMQを使用するイベント駆動型アプリケーションのパフォーマンスを簡単に追跡して改善できます。DSMは、すべてのサービスとキュー間の依存関係を自動的にマッピングし、エンドツーエンドのレイテンシの測定、障害のあるキューやサービスとその所有者の特定、バックアップされたメッセージの洪水を修復するのに役立つすぐに使えるメトリクスを提供することで、重大なダウンタイムの回避と厳しいSLAの達成を可能にします。

2022 GARTNER® MAGIC QUADRANTTM

Datadog は、Gartner® Magic Quadrant™ の APM およびオブザーバビリティ部門においてリーダーに認定されました。

詳細なレポートを入手

イベント駆動型アプリケーションのあらゆる場所で速度低下を検出

  • キュー、プロデューサー、コンシューマーを含むパイプライン全体の任意の2点間のレイテンシーを測定。
  • 秒単位とオフセット単位の遅延指標を確認できるため、遅延メッセージを簡単に特定できます。
  • 閾値、異常値、外れ値モニタリングを作成することで、ストリーミングデータパイプラインの異常なレイテンシーやスループットを迅速に検出できます。
イベント駆動型アプリケーションのあらゆる場所で速度低下を検出

パイプラインのボトルネックや障害を局所化し、解決

  • エンド・ツー・エンドのパイプライン・トポロジーの自動マッピングにより、キュー、プロデューサー、コンシューマー間の依存関係の破綻を簡単に検出
  • 遅延がアプリケーションサービスやキューシステムの問題に起因しているかどうかを判定し、原因チームを特定
  • サービスやキューのメッセージバックアップ量を考慮し、遅延の影響によるトラブルシューティングの優先順位付け
パイプラインのボトルネックや障害を局所化し、解決

大量のバックアップ メッセージを修復

  • ダウンストリームのボトルネックを迅速に検出・解決し、長い遅延、メッセージのダウンタイム、メッセージの遅延を防ぎます。
  • 各サービスの自動コンシューマラグ通知により、上流でメッセージフローのバーストが発生している可能性がある箇所を特定します。
  • 依存するすべてのサービスやキューにおけるメッセージの流れを視覚的に追跡し、常にSLAを満たすようにします。
大量のバックアップ メッセージを修復

ストリーミング データ パイプライン メトリクスをコンテキスト内のすべてのテレメトリと関連付け

  • DSM メトリクス、分散トレース、インフラストラクチャ メトリクス、ログの間でシームレスにピボットすることで、アプリケーションの問題をより迅速に解決します。
  • Kafka または RabbitMQ 統合ダッシュボードにレイテンシとスループットのメトリクスを追加することで、パイプラインを完全に可視化します。
  • サービス カタログ経由でサービス オーナー、オンコール エンジニア、重要なリソースに迅速にアクセスできるため、インシデント対応が合理化されます。
ストリーミング データ パイプライン メトリクスをコンテキスト内のすべてのテレメトリと関連付け

Customer Testimonials

当社のデジタル取引プラットフォームを支えるストリーミングデータパイプラインの構築には、すべてのキューとサービスを含むシステム全体のスループットとレイテンシを可視化する必要があります。Data Streams Monitoringによって、私たちのチームはパフォーマンスのボトルネックを積極的に発見し、ストリーム処理を最適化して、最大スループットと低レイテンシーのデータ配信を顧客に保証できます。

ダレン・ファー

ダレン・ファー

MarketAxess社のソリューションアーキテクト

Datadog Data Streams Monitoringのおかげで、世界中に散らばるクラスタのKafkaパイプラインのトポロジーを簡単にマッピングし、エンドツーエンドのレイテンシーをモニタリングし、パイプライン全体のインシデントソースを1か所で特定することができます。DSMがAPMとシームレスに統合されたことで、世界中の何百万人ものゲーマーが常に最高の体験を得られるようにすることができました。

スンヨン・オ

スンヨン・オ

Devsisters社のエンジニアリング担当VP

リソース

products/data-streams-monitoring/data-streams-monitoring-product-hero-desktop

official docs

Data Streams Monitoring
/blog/data-streams-monitoring/hero

BLOG

Track and improve the performance of streaming data pipelines with Datadog Data Streams Monitoring
/blog/monitoring-kafka-performance-metrics/151208-kafka-cs6-final-notitle-a1-how-to-monitor

BLOG

Monitoring Kafka performance metrics
/blog/kafka-at-datadog/kafka_lessons_learned_190227_FINAL

BLOG

Lessons learned from running Kafka at Datadog
/blog/service-owner-knowledge-with-datadog-service-catalog/service-catalog_feature-announcement_220718_v1a

BLOG

Simplify microservice governance with the Datadog Service Catalog