21억 명 이상의 글로벌 사용자를 지원하는 비즈니스 크리티컬 시스템

삼성전자 빅데이터 센터가 운영하는 통합 인증 플랫폼은 단순한 로그인 시스템을 넘어, 삼성 페이, 삼성 헬스, 갤럭시 스토어, 스마트싱스, 빅스비 등 60개 이상의 핵심 서비스를 연결하는 비즈니스 크리티컬 시스템입니다. 전 세계 256개국, 21억 명 이상의 사용자가 이 플랫폼을 기반으로 서비스를 이용하고 있으며, 장애 발생 시 글로벌 서비스 전반에 직접적인 영향을 미칠 수 있습니다.

이 시스템은 AWS 클라우드 환경에서 EU, US, AP, 중국 등 4개 글로벌 리전을 Active/Active 구조로 운영합니다. 초당 270만 건 이상의 요청과 초당 20만 건의 트랜잭션을 처리하며, 각 리전의 EKS 클러스터 내 70개 이상의 Namespace에서 1,000개 이상의 Pod가 구동됩니다. 또한 CloudFront와 Route53 ARC를 활용해 특정 리전에 장애가 발생하더라도 트래픽을 다른 리전으로 우회할 수 있는 구조를 갖췄습니다.

삼성전자의 목표는 단순히 장애가 발생했을 때 신속하게 복구하는 데 있지 않았습니다. 탐지 시간(MTTD)과 복구 시간(MTTR)을 가능한 한 최소화해, 시스템 내부에서 오류가 발생하더라도 최종 사용자가 이를 체감하기 전에 서비스가 스스로 정상화되도록 하는 것이었습니다. 99.99% 가용성은 장애를 줄이는 수준을 넘어, 고객이 장애를 인식하지 않도록 운영하는 것을 의미합니다.

Datadog을 통한 통합 옵저버빌리티 체계 구축

삼성전자는 이 목표를 실현하기 위한 첫 단계로 통합 옵저버빌리티 체계 구축에 집중했습니다. 기존에는 네트워크, 애플리케이션, 데이터베이스 모니터링 도구가 분산돼 있어 장애가 발생하면 각 담당자가 개별 도구를 확인해야 했습니다. 이로 인해 고객 클레임이 접수되더라도 각 담당자가 자신이 담당하는 영역의 대시보드만 확인해 이상 유무를 보고하는 과정이 반복되면서, 근본 원인 규명과 문제 해결이 지연되는 비효율이 발생했습니다.

Datadog 도입 이후에는 EKS 인프라 메트릭부터 APM 트레이스 수준의 데이터까지 단일 플랫폼에서 통합적으로 확인할 수 있게 되었습니다. Slack 연동 알림 체계를 정비하고, Datadog Watchdog을 통해 평소와 다른 이상 징후를 조기에 탐지할 수 있는 기반도 마련했습니다. 다만 모니터링 범위와 정밀도가 높아질수록 더 많은 신호가 발생하면서, 알람을 사람이 모두 해석하고 판단하는 방식만으로는 한계가 분명해졌습니다. 대시보드를 통해 알람 발생을 사후 확인하는 모니터링 방식의 한계를 넘어, 이상 징후를 선제적으로 예측하고 시스템이 자율적으로 대응하는 Proactive Action 체계로의 전환이 필요했습니다.

“Datadog이 제공하는 통합 Observability와 MCP 기반 AI 연동은 저희가 21억 명의 사용자를 지키기 위해 구축한 자율 대응 시스템의 핵심 기반입니다. 알람을 기다리는 시대는 끝났습니다. 이제 AI가 먼저 감지하고, 스스로 행동합니다.”

Amazon Bedrock과 Datadog MCP Server 기반 AIOps 에이전트 구축

삼성전자는 아키텍처의 패러다임을 근본적으로 전환하기로 결정했습니다. Amazon Bedrock의 파운데이션 모델에 Datadog MCP Server를 직접 결합하여 독자적인 AIOps 에이전트를 구축했습니다. 이 에이전트는 Datadog APM, 인프라 메트릭, WAF(Web Application Firewall) 보안 로그 등 서로 다른 운영 데이터를 실시간으로 교차 분석해, 사람이 대시보드를 열기 전에 이상 징후를 탐지하고 원인 분석을 지원합니다.

이 체계는 실제 운영 환경에서도 효과를 입증했습니다. AWS us-east-1 리전에서 대규모 인프라 장애 징후가 나타났을 때, AIOps 에이전트는 Datadog MCP Server 기반 데이터를 바탕으로 5XX 서버 에러 증가, DynamoDB 지연 증가, DNS Resolution 실패를 1분 이내에 교차 검증해 식별했습니다. 이를 통해 서비스 내부 버그가 아닌 리전 단위 인프라 이슈 가능성을 빠르게 진단했고, 팀은 Route53 ARC를 활용해 US 리전 트래픽을 EU 및 AP 리전으로 우회 처리함으로써, 사용자 영향 없이 서비스 연속성을 확보했습니다.

Datadog CloudPrem과 Text-to-SQL 기반 로그 분석 고도화

삼성전자는 인프라 수준의 장애 대응을 고도화한 이후, 서비스 내부 로그 분석 체계도 함께 개선했습니다. 메트릭만으로는 정상처럼 보이지만 특정 사용자에게만 오류가 발생하는 경우, 실제 원인 파악을 위해서는 대규모 서비스 로그를 정밀하게 분석할 수 있어야 했습니다. 그러나 초당 270만 건의 트래픽에서 발생하는 로그 전체를 상시 분석 대상으로 삼을 경우 비용 부담이 커질 수밖에 없었습니다.

이를 해결하기 위해 삼성전자는 Datadog CloudPrem 아키텍처를 적용했습니다. 방대한 원시 로그는 AWS S3에 저장하고, 분석이 필요한 시점에만 Datadog과 연동해 필요한 범위의 데이터만 조회하는 구조입니다. 여기에 Text-to-SQL 방식을 결합해 LLM이 장애 상황에 맞는 Datadog 검색 쿼리를 생성하고, 해당 쿼리로 추출한 핵심 로그만 분석하도록 설계했습니다. 이를 통해 불필요한 토큰 사용을 줄이는 동시에 근본 원인 분석의 정확도를 높였습니다.

Agentic AIOps 운영 고도화 계획

삼성전자는 향후 단일 AIOps 에이전트를 넘어, 기능별 전문 에이전트가 협업하는 에이전틱 AIOps 체계로 운영 모델을 확장할 계획입니다. 트래픽 라우팅과 인프라 스케일링을 담당하는 AIOps 에이전트, 보안 위협을 분석하는 보안 에이전트, 데이터베이스 병목을 식별하는 DB 에이전트 등이 유기적으로 협력하고, 중앙 오케스트레이터가 이를 통합 제어하는 구조를 구상하고 있습니다.

이와 함께 장애 탐지 이후의 후속 조치도 자동화 범위에 포함하고 있습니다. RCA 리포트 작성, 복구 스크립트 실행, 운영 이력 기록까지 단계적으로 자동화해, 운영자가 모든 알람에 개별 대응하던 방식에서, AI가 우선적으로 이상을 탐지하고 운영자가 이를 감독하는 운영 모델로 전환하는 것을 목표로 합니다.

Datadog의 도입은 삼성전자 빅데이터 센터의 운영 방식을 근본적으로 바꾸는 계기가 됐습니다. 알람 발생을 기다려 대응하던 ‘Human in the Loop’ 방식에서, AI가 자율적으로 판단·실행하는 과정을 운영자가 루프 밖에서 감독하는 ‘Human on the Loop’ 모델로의 진화를 의미합니다. 단일 플랫폼 기반 옵저버빌리티와 MCP를 통한 AI 연동을 바탕으로, 삼성전자는 하이퍼스케일 환경에 최적화된 선제적 운영 체계를 구축하고 자율 운영 수준을 지속적으로 고도화하고 있습니다.