Name: Datadog Observability Pipelines
Brand: Datadog

기능 개요

Datadog Observability Pipelines는 DevOps 팀과 보안팀이 클라우드 플랫폼, SIEM 도구, 데이터 레이크, 기타 분석 솔루션으로 로그, 메트릭, 트레이스를 보내기 전에 자체 환경 내에서 원활하게 집계하고 처리할 수 있도록 지원합니다. 팀은 몇 번의 클릭만으로 비용을 관리하고 알림 노이즈를 줄이는 동시에 위협 탐지, 조사 및 컴플라이언스에 필요한 가시성을 유지할 수 있습니다. 사전 구축된 주요 벤더 통합, AI가 안내를 제공하는 구성, 성능 모니터링으로 유연하고 안정적인 파이프라인을 손쉽게 대규모로 구축할 수 있습니다. Observability Pipelines는 OTEL 및 OCSF와 호환됩니다.

DOCUMENTATION 보기 요금 보기

텔레메트리 비용과 스트림의 알림 노이즈를 손쉽게 관리

일반적인 소스에 적합하고 즉시 사용이 가능한100+ Packs를 활용하여, 다운스트림 도구로 전달되기 전 가치가 낮은 데이터를 안전하게 자동 필터링, 샘플링 및 제거하여 비용을 절감
AI 기반 패턴 인식을 통해 로그 데이터 내의 트렌드를 빠르게 파악하여 예산 또는 성능에 영향을 미치기 전에 해결
Archive Search를 활용해 우선순위가 낮은 로그는 S3에 아카이브하고 중요한 이벤트는 SIEM으로 보내 스토리지 비용을 최적화하고 가시성을 유지

가시성 손실 없이 새로운 SIEM으로 마이그레이션

로그를 여러 목적지로 동시에 전송하여 원하는 속도로 가시성 손실 없이 선호하는 SIEM, 데이터 레이크 또는 로그 관리 솔루션을 유연하게 사용
사용 목적에 따라 로그를 분류하고 경로를 설정하여, 보안 로그는 SIEM으로, DevOps 로그는 로그 관리 플랫폼으로 보내는 등 최고 수준의 솔루션을 효과적으로 활용
새로운 솔루션과의 원활한 통합을 위해 로그를 OCSF(Open Cybersecurity Schema Framework), OTEL, Splunk CIM 또는 커스텀 매핑 같은 개방형 표준으로 자동 변환
보안 로그를 Datadog BYOC Logs, ClickHouse, Snowflake 또는 Databricks 같은 데이터 레이크로 직접 전송하여 장기적이고 검색 가능한 스토리지로 활용

스트림 내 감지를 통해 위협을 더 신속하게 정확히 파악

AI가 지원되는 Grok 파싱으로 150+ 기본 제공 파싱 규칙을 자동으로 적용하거나 커스텀 Grok 패턴을 작성하여 로그를 자동으로 표준화해 더 빠른 분석 가능
선호하는 대상으로 보내기 전 새로운 로그 볼륨 변화 또는 이상 로그 볼륨 변화 식별
로그를 인덱싱하기 전에 GeoIP 데이터, 위협 인텔리전스, 네트워크 메타데이터 등의 컨텍스트를 추가하여 보안 조사를 가속화하고 다운스트림 가시성을 향상
OCSF 자동 매핑을 통해 선호하는 SIEM 또는 데이터 레이크로 고품질의 표준화된 보안 로그 전송

스트림 내 감지, 표준화, 정보 보강을 통해 위협을 더 신속하게 정확히 파악

도구 전반에 컴플라이언스 및 거버넌스 적용

PII, PCI 및 기타 규제 대상 데이터에 대한 150+ 기본 제공 감지 규칙으로 온프레미스 로그 내의 민감한 데이터를 발견, 분류, 관리
PCI, GDPR, HIPAA, CCPA 등 다양한 규정을 준수할 수 있도록 지원하는 기본 제공 규칙이나 사용자 정의 규칙으로 데이터 상주 법률을 준수하고 데이터 손실 방지(DLP) 활동을 지원
액세스 제어의 공백을 없애고, 관련 속성 및 태그를 손쉽게 추가, 복사, 삭제하여 스키마 표준화 보장
MITRE ATT&CK 매핑과 ServiceNow CMDB 컨텍스트를 지원하는 팩으로 보안 데이터 정규화 가속화
데이터를 Microsoft Sentinel 형식 및 GoogleSecOps UDM 형식으로 변환하는 팩으로 보안 텔레메트리 표준화

파이프라인을 신속하게 생성, 배포 및 모니터링

데이터 처리, 변환, 라우팅을 간소화하는 즉시 사용이 가능한 템플릿과 Packs를 통해 파이프라인을 신속하게 설정하고 최적화
Live Capture와 중앙 집중식 대시보드로 파이프라인을 통과하는 데이터를 실시간으로 모니터링하여 데이터 전달에 영향을 미치기 전에 구성 이슈 진단 및 해결
프로덕션 환경에 변경 사항을 배포하기 전에 Pipeline Simulation을 통해 변환 전후의 파이프라인 동작을 검증함으로써 배포 리스크 감소
AI가 지원되는 Grok 파싱으로 원시 데이터를 필요한 형식으로 변환한 다음, 단 한 번의 클릭으로 Terraform으로 내보내 IaC(Infrastructure-as-Code) 배포 수행
데이터를 Microsoft Sentinel 형식과 Google SecOps UDM 형식으로 변환하는 Packs를 통해 보안 텔레메트리 데이터 표준화

더 세밀한 제어를 통해 메트릭과 트레이스를 처리

로그에도 사용하는 동일한 파이프라인 인프라를 통해 OpenTelemetry 및 Datadog의 메트릭이나 트레이스를 수집, 처리 및 라우팅
운영 중 환경에서 메트릭 태그를 표준화, 추가, 복사 또는 제거해 팀 전체에 일관적인 메트릭 태깅을 적용하는 동시에 메트릭 카디널리티를 관리해 이후 단계의 비용을 절감
트레이스를 비식별화 처리해 민감한 데이터를 보호하고 헤드 및 테일 기반 샘플링을 사용해 트레이스 볼륨 감소
이후 단계의 대상으로 로그, 메트릭, 트레이스를 전달하기 전 일관적인 태깅 및 보강 정책 적용