로그 관리 솔루션의 여정: 기존 도구의 한계를 넘어 Datadog Archive Search로

초기에는 클라우드 스토리지와 쿼리 기반 분석 도구를 통해 웹서버 로그를 관리했습니다. 저렴한 비용으로 보관할 수 있었지만 1일치 로그 검색에 10분 이상이 소요됐고 쿼리를 직접 작성해야 했습니다. 다른 애플리케이션 로그는 Datadog에 저장되어 있었지만 웹서버 로그는 클라우드 스토리지에 별도 저장되어 비교 분석도 어려워, 이슈가 발생했을 때만 검색하는 수동적인 운영에 그쳤습니다. 이를 개선하기 위해 도입한 로그 관리 솔루션 역시 정규식 기반 쿼리가 필요한 데다 조회할 때마다 비용이 부과되어, 일별 로그 저장 비용 대비 검색 비용이 5배에 달하는 문제가 발생했습니다.

이러한 한계를 개선하기 위해 Datadog Archive Search 기능을 도입했습니다. 인덱싱 없이 로그를 수집하는 구조로 비용 부담이 낮고, 이미 설치된 Datadog Agent에서 로그 설정만 활성화하면 되는 간편한 이관 방식이었습니다. 도입 후에는 실시간 모니터링이 필요할 때 Live Tail을, 장기 분석이 필요할 때는 Archive Search로 필요한 로그 패턴을 먼저 탐색한 뒤 필요한 로그만 선별적으로 Rehydration해 분석하는 방식으로 운영하고 있습니다. 실제로 프론트 이슈 발생 시 고객의 요청 경로를 Live Tail 기반 키워드 검색으로 즉시 확인할 수 있게 되었으며 로그 분석의 속도와 활용성이 크게 개선됐습니다. 이에 따라 로그 분석은 기존의 사후 대응 중심에서 벗어나, 실시간 탐색 기반의 보다 능동적인 운영 방식으로 전환됐습니다.

“에이전트에서 로그 설정만 활성화하면 되기 때문에, 정말 간편하게 웹서버 로그를 Datadog으로 이관했습니다.”

비용 가시성 확보부터 최적화 실행까지: Cloud Cost Management와 MCP Server

올리브영 세일뿐만 아니라 다양한 인기 캐릭터 콜라보 이벤트에서도 세일 기간 수준의 대규모 스파이크 트래픽이 유입돼, 이벤트 일정에 맞춰 인프라를 수차례 증설 및 축소해야 했습니다. Datadog Cloud Cost Management(CCM) 도입으로 계정·서비스·태그 기반 비용 가시화와 이상 탐지 알림 체계를 갖췄고, Recommendation 기능을 통해 과다 투입 리소스 식별 및 최적 스토리지 클래스 추천까지 받을 수 있게 됐습니다. 실제로 비용 절감을 위해 로그 버킷을 Glacier 스토리지 클래스로 변경하는 과정에서, 복제 이중화로 인해 평시 대비 10배 이상의 비용이 청구되는 문제가 발생했을 때, CCM Recommendation을 통해 문제를 인지하고 적절한 스토리지 클래스 변경으로 비용을 절감할 수 있었습니다.

더 나아가 Datadog MCP Server와 CCM을 연계했습니다. 비용 리뷰 시 Datadog CCM 화면, 클라우드 콘솔, 사내 메신저 히스토리를 오가는 불편함이 있었으나 MCP Server를 활용하면 터미널 하나에서 비용 정보와 운영 히스토리를 함께 확인할 수 있었습니다. 실제로 올영세일 특정 서비스 증설 히스토리와 그로 인한 비용까지 터미널에서 한 번에 파악할 수 있게 되었으며, 컨텍스트 스위칭 없이 빠른 비용 리뷰가 가능해졌습니다.

“MCP Server를 이용하면 여러 콘솔을 오갈 필요 없이 터미널 하나에서 운영과 비용을 함께 확인할 수 있습니다.”

AI 기반 사전 분석 장애 대응 체계: Agent Builder로 실현한 운영 자동화

MCP Server 활용을 계기로 AIOps에 대한 필요성이 확대됐습니다. Datadog의 Agent Builder는 팀 맞춤형 AI 에이전트를 구성할 수 있는 기능으로, 사내 사례 정보를 프롬프트에 반영해 올리브영 환경에 최적화된 답변이 도출되도록 설계했습니다. 기존에는 장애가 발생하면 사내 메신저에 담당자가 참여해 로그·메트릭을 수동으로 분석해 원인 파악부터 해결까지 평균 10~15분이 소요됐습니다. 이제는 사내 메신저 워크플로우를 실행하면 Datadog Agent가 관련 메트릭과 로그를 분석해 Notebook을 생성하고, 그 결과를 메신저 메시지로 전달하는 흐름이 자동으로 수행됩니다.

이러한 변화는 업무 방식 전반의 전환으로 이어졌습니다. SRE 엔지니어가 처음부터 끝까지 직접 분석하던 방식에서, AI가 먼저 분석하고 엔지니어가 결과를 검토하는 AI 기반 사전 분석 체계로 바뀌면서, 장애 분석 시간이 평균 3분 이내로 단축됐습니다. 이는 단순 효율 개선을 넘어 엔지니어의 번아웃을 줄이고 고부가가치 업무에 집중할 수 있는 환경을 조성하는 핵심적인 성과입니다. 현재는 테스트 단계이지만, 올리브영의 AIOps 관점에서 운영 자동화의 가능성을 성공적으로 입증했으며, 엔지니어의 업무 집중도 역시 크게 향상됐습니다.

향후 계획

CJ 올리브영은 CCM과 MCP Server 연계를 지속 고도화해 비용 이상 감지부터 원인 분석, Recommendation 기반 최적화 실행까지 전 과정을 자동화된 단일 흐름으로 연결하는 것을 목표로 합니다. 또한 Agent Builder 활용 범위를 장애 분석을 넘어 다양한 운영 영역으로 확장해, AIOps 관점의 운영 자동화를 지속적으로 고도화할 계획입니다.