전체 사례로 돌아가기

기술 지원소프트웨어 / 디지털 플랫폼

온콜 담당자가 다시 의미 있는 알림만 받도록

B2B SaaS 플랫폼 기업

온콜 담당자가 의미 있게 대응할 수 있는 수준을 넘어 알림을 쏟아 내던 Datadog 모니터 환경에 지속적인 기술 지원을 제공합니다.

개요

한 SaaS 기업의 온콜 엔지니어들은 대부분의 알림이 아무 조치도 필요 없었기 때문에 습관적으로 확인 버튼만 누르고 있었습니다. AceMQ는 고객사 팀과 함께 고객사의 Datadog 조직에서 작업하며, 모니터 환경이 의미를 잃지 않도록 지속적인 기술 지원을 제공합니다.

과제

모니터는 폐기 절차 없이 수년간 쌓여 왔습니다. 상당수가 이제는 존재하지 않는 트래픽 수준을 기준으로 정한 고정 임곗값을 사용해, 평범한 피크 때마다 알림이 울렸습니다. 복합 모니터는 하나의 근본 장애로 수십 건의 호출을 만들어 내는 알림 폭주를 일으켰습니다. 멀티 알림 모니터는 이후 카디널리티가 높아진 태그로 그룹화되어 있어, 서비스당 하나가 아니라 인스턴스당 하나씩 알림을 생성했습니다. 환경을 책임지는 담당자가 없었기 때문에 아무것도 제거되지 않았습니다.

환경

멀티 리전 AWS 및 Kubernetes 환경을 모니터링하고, 알림을 온콜 로테이션으로 전달하는 Datadog.

접근 방식

AceMQ는 의견이 아니라 알림 이력을 근거로 작업합니다. 어떤 모니터가 얼마나 자주 울렸고, 그 결과 누군가 실제로 조치를 했는지를 봅니다. 한 번도 조치로 이어지지 않은 모니터는 폐기하거나 대시보드로 격하합니다. 중요한 모니터에는 현재 동작을 반영한 임곗값, 적절한 그룹화, 예측 가능한 노이즈를 억제하는 다운타임 규칙을 적용합니다.

해결책

  1. 고객사의 알림 검토 주기에 함께 참여하는 전담 시니어 엔지니어와 플랜에 따라 15분부터 시작하는 대응 목표를 갖춘 24/7 기술 지원
  2. 모니터별 알림 이력을 분석해 실제 조치로 이어지는 모니터와 늘 확인 후 닫히기만 하는 모니터를 구분
  3. 실제 계절성이 있는 신호의 경우 고정 임곗값을 이상 탐지 또는 예측 기반 조건으로 대체
  4. 알림이 임시 인스턴스 단위가 아니라 서비스 단위로 오도록 멀티 알림 그룹화 수정
  5. 하나의 근본 장애가 알림 폭주가 아니라 한 건의 호출만 만들도록 복합 모니터 로직 재구성
  6. 담당자가 지정된 코드형 모니터 정의로 전환해, 담당자 없는 모니터를 드러내고 제거할 수 있도록 개선

성과

실제 고객 영향을 감시하는 모니터는 그대로 유지하면서 호출 건수가 약 3분의 2 줄었습니다. 엔지니어들이 알림을 배경 소음처럼 여기지 않게 되면서 확인 응답 시간도 개선되었습니다.

기술

DatadogKubernetesTerraformPagerDuty

Datadog 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Datadog 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.