전체 사례로 돌아가기

기술 지원금융 서비스 / 결제

Prometheus를 재시작할 때마다 생기던 한 시간짜리 모니터링 사각지대를 없애다

글로벌 결제 처리 기업

WAL(write-ahead log) 재생이 느려 재시작할 때마다 모니터링 사각지대가 길게 생기던 대규모 Prometheus 인스턴스에 지속적인 기술 지원을 제공합니다.

개요

한 결제 처리 기업은 재생에 시간이 오래 걸려 상당한 모니터링 공백이 생기는 탓에 업무 시간 중에는 Prometheus를 재시작할 수 없었습니다. 그 때문에 일상적인 패치 작업이 일정 조율의 문제가 되었습니다. AceMQ는 재시작 동작, 보존 기간, 그리고 지표 경로 자체의 가용성까지 아우르는 지속적인 기술 지원을 제공합니다.

과제

각 Prometheus 인스턴스의 활성 시리즈 수가 매우 많아 시작 시 WAL 재생이 오래 걸렸고, 재생이 끝날 때까지 인스턴스는 어떤 쿼리도 처리하지 못했습니다. 노드 축출, 재시작이 필요한 설정 리로드, 버전 업그레이드가 있을 때마다 사각지대가 생겼고, 리스크 관리 팀은 거래 시간 중의 사각지대를 용납하지 않았습니다. 누구나 떠올리는 우회책인 두 번째 레플리카 운영도 시도했지만, 레플리카 간 중복 제거가 되지 않아 쿼리 결과가 일관되지 않았습니다.

환경

장기 스토리지를 갖춘 Kubernetes 위의 리전별 Prometheus 쌍, 많은 활성 시리즈 수, 규제에 따른 변경 작업 허용 시간대.

접근 방식

저희는 두 방향에서 사각지대 문제에 접근했습니다. 재생 작업 자체를 줄이는 것, 그리고 재시작이 쿼리하는 쪽에서 보이지 않게 만드는 것입니다. 리레이블링으로 시리즈 수를 줄이자 재생 시간이 바로 단축되었습니다. Prometheus 쌍 앞에 제대로 된 레플리카 중복 제거 계층을 두자 한 인스턴스가 재시작하는 동안 다른 인스턴스가 서비스할 수 있게 되었고, 재시작은 평범한 운영 작업이 되었습니다.

해결책

  1. 리전별 토폴로지를 숙지한 시니어 엔지니어가 플랜에 따라 15분부터 시작하는 대응 목표로 제공하는 24/7 기술 지원
  2. 리레이블 기반으로 사용하지 않는 지표를 제거하고 중복된 익스포터를 통합해 시리즈 수 감축
  3. 한 인스턴스가 투명하게 재시작할 수 있도록 중복 제거 쿼리 계층을 앞단에 둔 고가용성 Prometheus 쌍 구성
  4. 쿼리 범위를 잃지 않으면서 WAL 크기를 줄이고 재생 시간을 단축하도록 보존 기간과 블록 기간 튜닝
  5. 규제 대상 변경 작업 허용 시간대에 맞춘 재시작, 업그레이드, 설정 리로드 절차 문서화 및 리허설
  6. 신규 서비스가 추가되어도 재생 시간이 일정 범위 안에 머물도록 시리즈 증가 추이를 정기적으로 검토

성과

재시작해도 더 이상 눈에 띄는 모니터링 공백이 생기지 않으며, 패치 작업은 업무 시간 외에 일정을 잡아 하던 작업에서 일상적인 롤링 작업이 되었습니다. 사용하지 않는 시리즈를 제거한 뒤 재생 시간 자체도 절반을 훨씬 넘게 줄었습니다.

기술

PrometheusThanosKubernetesGrafana

Prometheus 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Prometheus 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.