Datadog RUM으로 이커머스 플랫폼 현대화 성과를 사용자 경험으로 검증
신세계인터내셔날은 지난 2016년 출시한 뒤 대표적인 이커머스 플랫폼으로 성장시켜온 ‘신세계V‘의 현대화 작업을 진행하면서 대대적인 리뉴얼을 단행했다. 복잡하고 긴밀하게 얽혀있던 전통적인 모놀리식 아키텍처와 도메인을 분산·분리해 클라우드 기반의 마이크로서비스로 전환시켜, 고객들에게 더 나은 서비스 경험과 가치를 제공하기 위한 여정이었다. 그 과정에서 과연 현대화 작업이 목표한대로 구현되고 있는지, 실제로 고객들에게 더 나은 서비스 경험과 가치를 전달하고 있는지 궁금해졌다. 개발자와 엔지니어, 기획자를 포함해 40명의 빠듯한 인력으로 현대화 프로젝트를 한창 진행 중인 상황에서추가 프로젝트를 진행하는 게 부담스러운 상황이었지만, 고객의 경험을 실시간으로 확인하고 판단하기 위해서는 실시간 가시성 확보는 절실했다.
모니터링 대시보드 구현 원칙 4가지
신세계인터내셔날 이커머스 테크팀은 현대화 여정을 진행하면서 Datadog RUM을 실효성있게 적용하기 위해 먼저 네 가지 핵심 원칙을 세웠다. 첫 번째는 사용자 중심 원칙이다. 사용자를 이해하고 그들을 위한 시나리오와 배포에 초점을 맞춰야 한다는 것이다. 두 번째는 서비스 및 제품 지표와 엔지니어링·테크니컬 지표를 연계해야 한다는 것이다. 사용자와 서비스 지표를 개발자와 엔지니어들이 현실적으로 활용할 수 있는 형태로 대시보드에 반영될 수 있도록 설계돼야 한다는 의미다. 세 번째는 행동 가능한 시그널 메트릭(metric, 지표)만 대시보드에 포함한다는 원칙이다. 대시보드를 보고 행동을 취할 수 있는 지표를 설정했다. 마지막은 플랫폼과 서비스 변화에 따라 대시보드와 지표도 지속적으로 진화해야 한다는 것이다. 소프트웨어처럼 상황에 맞춰 변화할 수 있도록 정기적인 리뷰와 수정을 실시한다는 방침을 정했다.
이같은 원칙은 플랫폼과 서비스 가시성을 효율적으로 구현하기 위해 강구된 방책이다. 나아가 매일 평균 30만명 넘는 사용자가 방문하고 있고 4500여 개의 브랜드가 입점된 신세계V 플랫폼이 현재의 서비스환경을 넘어 향후 수만 개의 브랜드, 수백만 명의 이용자를 수용할 수 있는 확장가능한 플랫폼 운영 환경을 만들기 위해 테크팀이 정한 행동 규칙(ground rule)이다.
단 몇 줄의 코드로 3~4일 만에 시각화 대시보드 구축
실제 구현 과정은 쉬웠다. 단 몇 줄의 스크립트 코드만으로 서비스 정보와 구성요소를 모두가 이해할 수 있도록 시각화할 수 있었다. 담당자들은 고객의 경험을 모니터링할 수 있도록 각각의 도메인과 마이크로서비스 특성에 맞춰 핵심 지표를 설정했다. 프로모션, 이벤트 제목, 상품명, 카테고리, 주문과 결제, 반품 현황 등 코드로 돼 있던 데이터를 모두 이해 가능한 자연어(한국어)로 가시화해, 단 3~4일 만에 전체 도메인과 서비스별 대시보드 구축을 완료했다.
보통 모니터링 대시보드를 구성하려면 수십 수백가지의 수많은 지표들로 구성하는 것이 일반적이지만, 구현에 앞서 정한 원칙과 도메인의 서비스·기술 특성을 고려해 고객 경험을 모니터링할 수 있는 요소들을 중심으로 핵심 지표를 뽑을 수 있었다. 예를 들어 상품 도메인의 경우 상품 정보들이 사용되는 여러 페이지와 서비스 영역들을 토대로 페이지 로드, 사용자 행동, 상품 데이터 카테고리로 구분 짓고 이어지는 여러 엔지니어링 지표들을 구성하는 방식이다. 반면에 내외부 연동이 가장 많고 복잡한 로직과 정책이 적용된 기능과 동작이 이뤄지면서 민감정보까지 다루는 주문 도메인의 경우, 가장 큰 대시보드를 활용해 다양한 서비스 데이터를 바탕으로 원활한 모니터링이 이뤄지도록 구현했다. 지불결제 게이트웨이 회사, 상품과 프로모션, 회원, 주소지 등과 같은 다양한 데이터를 가져오는 내외 연동 구간의 모니터링이 중요하기 때문이다.
신세계인터내셔날의 대시보드는 전체 플랫폼의 상태를 한눈에 파악할 수 있는 조감도를 제공하는 ‘트렁크 대시보드(Trunk Dashboard)‘와 세부 모니터링을 제공하는 ‘브랜치 대시보드(Branch Dashboard)‘로 구성된다. 각 도메인별과 서비스별 사용자 중심 연관 지표로 이뤄진 대시보드들로 전체 플랫폼과 서비스의 성능과 상황을 주요 대시보드로 구성한 트리(Tree) 구조로, 서비스 상태와 성능을 한눈에 볼 수 있게 했다. 모든 대시보드들은 플랫폼에 서비스나 기능이 추가되거나 수정되면 그에 맞게 역동적으로 변화한다.
도입 후 평균 장애인지시간(MTTD) 92% 단축
Datadog RUM 도입 후 구현한 프론트엔드 옵저버빌리티 시각화 (Frontend Observability Visualize)로 이전에는 발견하지 못했던 다양한 문제를 즉각적으로 찾아내 해결할 수 있었다. 수많은 스크립트 에러, 비정상적인 페이지는 물론 사용자들이 플랫폼을 이용할 때 불편하다고 느낄 수 있는 트랜잭션 지연, 느린 페이지 로드와 같은 수많은 장애나 버그, 비정상적인 현상에 대한 가시성을 확보해 조치할 수 있었다. 이전까지는 주로 고객센터에 들어오는 이용자 불편 신고에 의존해 해결해왔던 문제들이다. 더욱이 RUM에서 제공하는 ‘세션 리플레이(Session Replay)’ 기능으로 사용자 경험을 저해하는 봇 트래픽이나 악성 사용자로 인한 비이상적인 현상 등 개발, 테스트 단계에서 찾아낼 수 없었던 특이한 케이스를 식별할 수 있게 됐다. 이 세션 리플레이 기능은 고객센터에 접수된 이용자 불편사항을 제대로 이해하기 위해 진행해온 케이스 재현 시간도 크게 단축시켰다.
결과적으로 고객, 사용자 관점의 옵저버빌리티 구현으로 선제적인 문제 식별과 빠른 대응이 가능해져 장애 인지 및 해소 시간이 대폭 감소했다. 이로 인해 평균 장애탐지시간(MTTD)은 무려 92% 단축해, 현재는 몇 분안에 탐지가 가능해진 상황이다. 고객센터로 들어오는 장애나 불편 문의도 크게 줄었다.
서비스 안정성 향상 넘어 소통과 협업 확장
도입 효과는 전반적인 서비스 품질과 안정성을 크게 향상시킨 것을 넘어 조직 차원에까지 긍정적인 영향을 미쳤다. 먼저 개발자와 엔지니어들은 서비스 배포가 고객 경험에 어떠한 영향을 미치는지 더욱 주의 깊게사고할 수 있게 됐고, 데이터 기반으로 판단하며 더욱 주도적이고 능동적인 팀으로 성장할 수 있게 됐다. 기술팀과 비즈니스팀 간의 격차를 좁히는 효과도 거뒀다. 기술 투자로 얻을 수 있는 비즈니스 이점과 효과를 지표로 시각화해 확인하고 검증할 수 있게 돼 기술과는 거리가 먼 비즈니스 현업 부서는 물론 경영진들과도 보다 원활한 소통이 가능해졌다. 아울러 전략기획, 마케팅, 디자인팀과의 협업 기회도 늘릴 수 있게 됐다. 예를 들어 Datadog RUM ‘히트맵(Heatmaps)‘에서 제공하는 ‘스크롤맵(Scoll Maps)’ 기능은 사용자가 스크롤을 멈추는 위치로 어떤 디자인의 제품 콘텐츠에 고객이 머무르는지, 이탈하는지와 같은 고객 반응과 인게이지(engage) 현황을 데이터를 기반으로 파악할 수 있다. 플랫폼 성능과 실시간 사용자 경험과 모니터링을 위해 도입한 옵저버빌리티 플랫폼이 마케팅과 비즈니스 성능 분석은 물론 사용자 관점의 플랫폼 운영 전략을 수립하는 데 도움을 준다는 의미다.
실제로 신세계인터내셔날은 RUM 구축으로 얻은 고객 행동 데이터를 바탕으로 두 가지 인사이트를 얻었다. 콘텐츠나 프로모션 혹은 캠페인 등을 탐색하고 정보를 얻기 위한 탐색 행동을 하거나, 자기 자신으로부터고객여정을 시작하는 행동을 보인다는 것이다. ‘좋아요(like)‘해둔 콘텐츠를 보거나 상품을 담아둔 장바구니로 들어가는 비중이 가장 높았다. 이같은 고객 행동 데이터는 플랫폼 서비스가 발전하고자 하는 전략적인방향을 설계하는데 주요 근거로 활용하고 있다.
“단 몇 줄의 코드로 우리는 프론트엔드 지표와 사용자 행동을 시각화하고자 했습니다. MVP(Minimum Viable Product)를 통해 사용자 경험을 이해하자는 목표를 세웠지만, 실제로 기술과 비즈니스의 격차를 줄일 수 있었습니다. 기술팀은 이전보다 데이터 기반으로 사고하고 배포 이후의 효과와 영향까지 생각하고, 고객경험 위주로 사고하는 능동적인 팀으로 성장했습니다. 이같은 성장은 신세계V 리뉴얼과 함께 큰 시너지를 내며 사용자들에게 더욱 개인화된 경험을 제공할 것으로 기대합니다.”
아울러 Appsflyer, Google Analytics 등 12개 이상의 마케팅 솔루션을 활용해 플랫폼에서 진행하는 다양한 이벤트와 캠페인에 대한 결과 리포트를 생성해 경영진에게 보고하고 있다. 변화가 많은 서비스 환경에서 발생할 수 있는 리포트 데이터의 오류도 빠르게 인지해 연관부서에 전달할 수 있는 프로세스를 운영하고 있다. RUM은 추가 코딩이나 태깅없이 채널별 트래픽을 실시간 가시화하고 트래킹해 발생하는 상황을 빠르게인지하고 원활하게 유지관리할 수 있게 해주고 있다.
엔드투엔드 모니터링 구현, 맞춤형 서비스 경험 제공 주력
신세계V 플랫폼 현대화와 서비스 가시성 확보 여정은 아직도 진행 중이다. 해결해야 하는 과제는 애플리케이션성능관리(APM), 데이터베이스 (DB)를 포함해 다양한 인프라별 모니터링을 각각의 도구를 사용해 별개로 이뤄지는 문제를 해결하는 것이다. 이같은 모니터링 솔루션의 사일로(silo) 문제를 해결해 엔드투엔드(End to End) 모니터링을 구현할 계획이다. 샘플 레이트(rate) 설정 방안을 강구하는 한편, Datadog 로그관리 솔루션을 활용해 다양한 애플리케이션에서 발생하는 로그 표준화 구현도 필요한 과제로 남아있다. 또한 신세계V 플랫폼이 데이터 기반 서비스를 제공하는 것을 넘어 모델 컨텍스트 프로토콜 (MCP)은 물론 인공지능(AI) 등 다양한 혁신 기술을 실험하고 활용해 맞춤형 이커머스 서비스 경험을 제공하는데 주력할 계획이다.
