데이터 통합에서 AI 기반 운영까지: 온프레미스 데이터센터의 진화 여정

CJ올리브네트웍스의 인천 송도 DC(Data Center)는 올리브영, CGV, CJ대한통운 등 CJ그룹 계열사 서비스의 핵심 인프라를 담당하고 있습니다. 온프레미스와 퍼블릭 클라우드가 혼재하는 하이브리드·멀티 클라우드 환경이 확산되고 마이크로서비스 아키텍처 도입으로 시스템 간 의존성이 복잡해지면서, 한정된 인력과 예산 안에서 운영 효율을 극대화하는 것이 주요 과제로 부상했습니다.

분산된 모니터링 환경으로 인한 운영 효율성 저하

인프라팀, 서비스 운영팀, 현업 담당자가 각기 다른 툴을 사용해 시스템을 모니터링하고 있었고, 장애가 발생하면 각자 수집한 데이터를 기반으로 공동 대응하는 구조였습니다. 장애 발생 시 영역별 점검에서는 이상 징후가 제한적으로 확인되었으며, 이 과정에서 결제 지연이나 회원 정보 조회 오류 등 고객 서비스 전반의 이슈를 보다 신속하게 통합적으로 파악할 필요성이 제기됐습니다.

서버, 네트워크, 애플리케이션 모니터링 도구가 분리 운영되는 사일로 구조로 인해 메트릭, 로그, 트레이스 간 교차 분석은 수동으로만 수행 가능했으며, 도구마다 수집 기준이 달라 중복 알림과 데이터 신뢰도 저하가 반복되었습니다. 공통 태깅 정책과 표준화된 장애 대응 절차의 부재는 불필요하거나 중복된 알림을 늘리고 MTTD(평균 장애 인지 시간)와 MTTR(평균 복구 시간)을 증가시키는 구조적 원인이 되었습니다.

단일 플랫폼으로의 통합

CJ올리브네트웍스는 오픈소스 기반의 여러 툴을 조합하는 방안도 검토했으나, 하나의 플랫폼에서 일관된 데이터와 분석 결과를 얻는 방식이 보다 효율적이라는 결론을 도출했습니다. Infrastructure Monitoring, APM, Log Management를 통해 인프라부터 애플리케이션, 로그를 Datadog 단일 플랫폼으로 통합하고, Watchdog과 Bits AI를 중심으로 AIOps 체계를 단계적으로 구축하고 있습니다.

도입 전략은 3단계 로드맵으로 구성됩니다. 1단계 ‘통합 관제 기반 정비’에서는 파편화된 모니터링 도구를 단일 플랫폼으로 통합하고 텔레메트리 표준화, 통합 대시보드 구축, 알림 신뢰도 관리를 수행합니다. 현재 한 계열사 시스템을 파일럿으로 선정하여 이 단계를 진행 중이며, 검증 결과를 바탕으로 전사 확대를 목표로 하고 있습니다. 2단계 ‘AI 기반 분석과 예측’에서는 ML 기반 이상 탐지와 로그 패턴 클러스터링, AI 기반 근본 원인 분석(RCA) 지원을 적용할 계획입니다. 3단계 ‘운영 자동화 확장’에서는 런북 자동화와 셀프 힐링, ITSM 연계를 통해 운영자 개입을 최소화하는 자율 운영 체계를 완성할 계획입니다.

AI가 이상을 감지하고 원인을 분석하다

현재 1단계에서 2단계로의 전환 과정에서 Datadog의 AI 기능을 적극 활용하고 있습니다. Watchdog은 AI 기반 이상 감지와 자동 알람 생성으로, 운영자가 출근 즉시 전날 밤 발생한 이상 징후를 파악하고 신속한 의사결정을 내릴 수 있도록 지원합니다. Bits AI SRE는 이슈 발생 시 원인 분석을 지원하고 RCA(근본 원인 분석)를 수행하며, Ask Bits는 자연어 기반으로 이슈를 공유하고 운영 협업을 지원합니다. Slack 및 Teams와의 연동을 통해 신속한 상황 전파도 가능합니다.

24시간 상황실을 운영하는 CJ올리브네트웍스는 상황 공유 위주였던 알림 체계를, 통합 데이터 기반의 원인 분석 단서가 포함된 알림 체계로 발전시키고 있습니다. 이를 통해 담당자들이 원인 파악과 소집에 소요하던 시간을 줄이고 실제 문제 해결에 집중할 수 있는 환경이 조성되고 있습니다.

“데이터 신뢰도 확보를 통해 운영자의 개입을 최소화하고, 서비스의 연속성을 보장할 수 있다고 생각합니다.”

협업이 완성하는 AIOps

CJ올리브네트웍스가 이 여정에서 가장 중요하게 꼽은 요소는 크로스팀 협업입니다. SaaS 기반인 Datadog을 온프레미스 IDC 환경에 연동하는 과정에서 사설 대역 전체에 대한 방화벽 정책 설정을 위해 보안 부서와의 협의가 필요했고, 이 과정에서 도입의 성패가 툴 자체가 아닌 조직 간 협업에 달려 있음을 확인했습니다. SRE, 개발, 네트워크, 보안 팀 간의 장벽 제거와 통합 관제 프로세스 정립, 전사 공통 태깅 정책 수립을 통한 데이터 품질 확보, 툴체인 통합, 거버넌스 수립이 AIOps 도입의 핵심 성공 조건이라고 CJ올리브네트웍스는 강조합니다.

새벽 알람이 울렸을 때 운영자가 직접 접속하여 원인 분석을 시작하는 대신, AI가 원인을 분석하고 해결 방안을 제시하면 운영자는 의사결정에만 집중할 수 있는 환경을 구축하는 것이 CJ올리브네트웍스의 최종 지향점입니다. 데이터 통합에서 AI 기반 운영, 그리고 자율 운영까지 CJ올리브네트웍스의 온프레미스 데이터센터 진화 여정은 계속되고 있습니다.