Name: Datadog Observability Pipelines
Brand: Datadog

기능 개요

Datadog Observability Pipelines는 DevOps와 보안팀이 로그를 클라우드 플랫폼, SIEM 도구, 데이터 레이크, 기타 분석 솔루션으로 보내기 전에 자체 환경 내에서 원활하게 집계하고 처리할 수 있도록 지원합니다. 로그를 필터링하고, OCSF 같은 표준 형식으로 변환하며, 맥락 정보를 추가하고, 메트릭을 추출합니다. 이를 통해 비용을 최적화하고, 원하는 솔루션을 유연하게 사용하며, 민감한 정보를 삭제하는 등 다양한 작업을 할 수 있습니다.또한, 사전 구성된 파이프라인 템플릿 및 기본 성능 모니터를 사용하여 직관적인 UI에서 파이프라인을 쉽게 설계, 배포, 관리할 수 있습니다.

DOCUMENTATION 보기 요금 보기

모든 로그를 비용 효율적으로 처리하고 전송

로그를 전송하기 전 필터링, 중복 제거, 불필요한 필드 제거를 통해 로그 볼륨 최적화
로그 볼륨 최적화, KPI 추적, 인사이트 수집을 위해 로그 기반의 메트릭 생성. 알림 구성, 트렌드 분석, 다른 텔레메트리 데이터와의 상관 분석을 위해 Datadog으로 메트릭 전송
중요한 KPI와 트렌드를 놓치지 않고, 규칙에 따른 일일 할당량 설정이나 샘플링 전략을 통해 예산 내에서 효율적으로 관리
중요한 로그만 벤더로 보내고 노이즈가 많은 로그는 AWS S3, Azure Blob Storage, Google Cloud와 같은 장기 저장소로 전송하여 데이터 전송 비용 절감

가시성 손실 없이 새로운 SIEM으로 마이그레이션

로그를 여러 목적지로 동시에 전송하여 지속적으로 모니터링하고 선호하는 SIEM, 데이터 레이크, 로그 관리 솔루션을 유연하게 사용
사용 목적에 따라 로그를 분류하고 경로를 설정하여, 보안 로그는 SIEM으로, DevOps 로그는 로그 관리 플랫폼으로 보내는 등 최고 수준의 솔루션을 효과적으로 활용
새로운 솔루션과 원활하게 통합하기 위해 로그를 Open Cybersecurity Schema Framework(OCSF), OTEL, Splunk CIM 또는 커스텀 매핑 같은 개방형 표준으로 자동 변환
보안 로그를 Datadog CloudPrem, ClickHouse, Snowflake 또는 Databricks 같은 데이터 레이크로 직접 전송하여 장기적이고 검색 가능한 스토리지로 활용

로그를 변환하고 정보를 추가해 문제 해결, 거버넌스, 분석 개선

Grok 파서로 150개 이상의 기본 제공 파싱 규칙을 자동으로 적용하거나 커스텀 Grok 패턴을 작성하여 로그를 쉽게 쿼리할 수 있는 형식으로 변환
로그 전송 전 신규 및 이상 로그 볼륨 변화 식별
로그를 인덱싱하기 전에 GeoIP 데이터, 위협 인텔리전스, 네트워크 메타데이터 등의 컨텍스트를 추가하여 보안 조사를 가속화하고 다운스트림 가시성을 향상
OCSF 자동 매핑을 통해 선호하는 SIEM 또는 데이터 레이크로 고품질의 표준화된 보안 로그 전송

스트림 내 감지, 표준화, 정보 보강을 통해 위협을 더 신속하게 정확히 파악

도구 전반에 컴플라이언스 및 거버넌스 적용

PII, PCI 및 기타 규제 대상 데이터에 대한 150+ 기본 제공 감지 규칙으로 온프레미스 로그 내의 민감한 데이터를 발견, 분류, 관리
PCI, GDPR, HIPAA, CCPA 등 다양한 규정을 준수할 수 있도록 지원하는 기본 제공 규칙이나 사용자 정의 규칙으로 데이터 상주 법률을 준수하고 데이터 손실 방지(DLP) 활동을 지원
액세스 제어의 공백을 없애고, 관련 속성 및 태그를 손쉽게 추가, 복사, 삭제하여 스키마 표준화 보장

파이프라인을 신속하게 생성, 배포 및 모니터링

파이프라인 템플릿을 사용하여 동시 전송 로그, 로그 볼륨 최적화, 데이터 보관 등 다양한 작업을 간편하게 진행
Live Capture와 중앙 집중식 대시보드로 파이프라인을 통과하는 데이터를 실시간으로 모니터링하여 데이터 전달에 영향을 미치기 전에 구성 이슈 진단 및 해결
Rust 기반 엔진에 구축된 고성능 파이프라인을 배포하여 페타바이트 규모의 워크로드 처리