사일로를 허물고 엔드투엔드 가시성을 실현하다

SK브로드밴드 플랫폼 SRE팀은 IT 인프라의 설계·도입·구축·운용 전 과정을 직접 수행하는 조직입니다. SK브로드밴드는 통신사 특성상 서버·네트워크·보안은 물론 데이터센터와 전력·냉각 설비까지 서비스 운영에 필요한 전 영역을 직접 관리·운영하는 문화를 갖추고 있으며, 이러한 운영 철학을 바탕으로 외부 솔루션 의존보다 내부 기술 역량 축적과 자체 개발을 중시하는 내재화 중심 체계를 구축해 왔습니다.

이를 기반으로 인프라 모니터링, APM, 보안까지 자체 개발 모니터링 시스템(G2 통합모니터링)을 ELK Stack 기반으로 구축하고 5년 이상 운영해 왔습니다. 하루 3.5GB의 메트릭과 6TB의 로그를 수집하는 이 시스템은 Grafana·Kibana 기반 시각화와 자체 개발 수집기를 통해 높은 유연성을 발휘했으나, 운영 기간이 지나면서 구조적 한계가 표면화됐습니다. 특히 신규 장비·오픈소스·GPU 인프라가 지속적으로 도입되는 과정에서 각 시스템별 데이터 규격과 수집 구조를 자체적으로 맞춰야 하는 부담이 급격히 증가했고, 기존 온프레미스 중심 구조만으로는 빠르게 변화하는 서비스 환경을 따라가기 어려워졌습니다.

사일로 해소: 분산된 도구를 하나로

팀별로 인프라·APM·보안 모니터링 도구가 각각 운영되며 데이터 사일로 현상이 심화됐고, 신규 기능 도입 시 복잡한 연동 과정이 반복됐습니다. IPTV 셋톱박스와 모바일 OTT 앱 등 클라이언트 로그를 대규모로 수집해야 하는 새로운 사업 수요가 발생했으나, 클라이언트 트래픽의 발생 시기와 규모를 예측하기 어려워 온프레미스 환경에서 이를 수용하는 것은 사실상 불가능했습니다.

또한 데이터 차원이 수백에서 수천 차원으로 증가함에 따라 인력에 의한 수동 분석만으로는 상관관계를 파악하는 데 한계에 직면했습니다. 기존 서버 중심 환경에서는 일정 수준의 표준화와 용량 예측이 가능했지만, 클라이언트 단에서는 로그 형식과 유입 패턴이 개별적으로 운영됐었고, 이로 인해 운영 조직이 직접 데이터 구조를 정비하고 분석 체계를 유지해야 하는 부담이 지속적으로 커졌습니다.

여러 솔루션을 검토하는 과정에서 Datadog은 두 가지 측면에서 차별성을 보였습니다. 실무 현장에서의 높은 사용자 친화성은 경력직 엔지니어들이 이전 직장 경험을 바탕으로 자발적으로 도입을 추천할 만큼 우수한 수준이었으며, 실제 PoC에서는 에이전트 기반의 자동 확장과 메트릭, 트레이스, 로그, 보안의 통합 수집 능력이 검증됐습니다.

특히 단일 에이전트 기반으로 인프라·애플리케이션·보안 데이터를 동시에 수집하고 상관 분석할 수 있다는 점은, 기존처럼 개별 도구를 연동하기 위해 반복적인 커스터마이징과 운영 부담을 감수해야 했던 구조를 근본적으로 개선할 수 있는 요소로 평가됐습니다.

아울러 기존 대규모 운영 환경의 연속성을 유지한 채 신규 시스템으로 완전히 전환하는 것이 핵심 과제였으나, Datadog은 탁월한 전환 유연성을 통해 이를 성공적으로 실현했습니다. 실제 전환 과정에서는 PoC와 스테이징 환경 검증 이후 운영 전환(cut-over)까지 단계적으로 수행됐으며, 운영자 교육과 알람 정책·대시보드 이관까지 포함한 전환 작업이 단 하루 만에 완료됐습니다. 기존 시스템을 사용하던 수십 명 규모의 운영 인력 역시 별도의 업무 공백 없이 즉시 신규 환경으로 전환할 수 있었습니다.

“기존 자체 구축 시스템은 5년 이상 안정적으로 운영되며 업무 환경에 깊이 정착된 상태였기 때문에, 이를 뛰어넘는 수준의 사용자 경험과 운영 효율성을 제공하는 솔루션을 찾는 것은 절대 쉽지 않은 과제였습니다. 그러나 Datadog은 높은 유연성과 뛰어난 호환성을 기반으로 기존 운영 환경을 유지한 채 자연스러운 전환을 지원했으며, 전체 시스템 마이그레이션 역시 단 하루 만에 완료될 수 있었습니다.”

런타임 코드 보안, 이틀 만에 실현

2025년 통신, 커머스 등 ICT 기반 서비스 업계 전반의 보안 위험 노출이 확대되면서 SK브로드밴드 내부에서는 런타임 코드 보안 강화 요구가 급격히 대두됐습니다. 기존 보안 체계는 방화벽·IPS 중심의 경계 보안에 집중돼 있었으며, 코드 수준의 취약점 관리는 사실상 공백 상태였습니다. 특히 네트워크 경계 보안은 통신사 조직 특성상 매우 높은 수준으로 운영되고 있었지만, 애플리케이션 레이어 보안은 개발 조직과 운영 조직 사이의 ‘그레이존’으로 남아 있었습니다. 전사 보안 부서에 별도 도입 검토를 요청한 결과 최소 1년 이상의 기간이 소요될 것으로 예상되면서, 그 사이 발생할 수 있는 보안 공백을 어떻게 해소할 것인지가 핵심 과제로 떠올랐습니다.

이에 팀은 당시 도입 중이던 Datadog의 Code Security(IAST/SCA) 기능을 검토했습니다. 초기에는 모니터링 도구에 부가적으로 제공되는 수준의 기능으로 예상됐으나, 실제 검토 결과 글로벌 최고 수준의 완성도와 국내 규제 정합성을 모두 충족하는 솔루션임이 확인됐습니다. 이후 신규 AI 서비스 두 건에 해당 기능을 적용해 정적 코드 분석(SAST)을 통한 취약점 식별, 오픈소스 라이브러리의 CVE(Common Vulnerabilities and Exposures) 매핑, 런타임 트래픽 기반 공격 시나리오 점검까지 수행했습니다.

또한 Datadog은 기존 APM 데이터와 코드 보안 데이터를 자동으로 연계해 실제 취약 코드가 어느 API와 실행 인스턴스에서 동작하는지도 한 번에 추적할 수 있었으며, 개발·배포·운영 환경 전반을 별도 보안 솔루션 추가 없이 단일 플랫폼에서 통합 관리할 수 있도록 지원했습니다.

수십만 라인의 코드를 분석한 결과 크리티컬 등급의 취약점은 단 한 건으로 확인됐으며, 기존 방식으로는 수개월에서 최대 1년이 걸리던 작업을 단 이틀 만에 완료했습니다. 또한 분석 리포트 작성과 취약점 수정까지 마친 뒤 즉시 서비스를 개시했으며, 이는 개발·배포·운영 전 단계에 걸친 엔드투엔드(end-to-end) 보안 관리 체계를 기존 개발·운용 프로세스 변경 없이 구현한 사례입니다. 이와 더불어 기존에는 별도 보안 솔루션 도입 시 개발 프로세스 변경과 장기간의 PoC가 필수적이었지만, Datadog은 기존 CI/CD 및 운영 체계와 자연스럽게 연동되며 최소한의 변경만으로 즉각적인 보안 내재화를 가능하게 했습니다.

“Datadog이 보안 영역에서도 높은 수준의 역량을 제공할 것이라고 예상하지 못했습니다. 수개월이 소요될 것으로 판단했던 코드 보안 점검을 이틀 만에 완료하고 서비스를 출시했으며, 식별된 크리티컬 취약점은 단 한 건에 그쳐 개발 조직의 코드 품질이 예상보다 높은 수준으로 유지되고 있음을 확인할 수 있었습니다.”

향후 계획

SK브로드밴드는 Datadog을 기반으로 Observability 체계를 지속적으로 고도화해 나갈 계획입니다. 현재 AI·LLM 기반 신규 서비스의 모델 성능, 응답 품질, 지연 시간 분석을 위해 Datadog MCP와 LLM Observability 도입을 검토하고 있으며, VMware 라이선스 리스크 해소와 클라우드 네이티브 전환 과정에서도 Datadog 중심의 아키텍처를 통해 벤더 종속성을 줄여나갈 방침입니다. 또한 차세대 쿠버네티스 플랫폼 전환 시에는 클러스터·노드·워크로드 전 계층에 대한 통합 모니터링과 동적 이벤트 추적 체계를 Datadog으로 구축해 운영 인력을 최소화하고, AI 기반 자율 운영(MPO) 체계 구현의 핵심 도구로 활용할 예정입니다.

SK브로드밴드는 향후 GPU 기반 AI 인프라와 생성형 AI 서비스까지 포함한 하이브리드 환경 전반의 가시성을 확보함으로써 단순 모니터링을 넘어 AI 기반 이상 탐지와 자율 운영 체계의 구현까지 목표로 하고 있습니다. 여기에 컨테이너 재배포와 자동 확장, 워크로드 이동 등 쿠버네티스 환경의 동적 이벤트까지 실시간으로 추적·분석하는 체계를 구축해 장애 대응 속도와 운영 효율성을 동시에 끌어올릴 계획입니다.