개요
한 커머스 플랫폼 기업은 Prometheus 서버가 시작 후 몇 분 만에 OOM-kill되기 시작하면서 메트릭 가시성을 잃었습니다. 계기는 일상적인 애플리케이션 배포였고, 원인은 새로 추가된 레이블 하나였습니다.
과제
한 팀이 요청 카운터에 사용자 식별자를 레이블로 추가했습니다. 사용자마다 새로운 시계열이 생성되었기 때문에, 트래픽이 많은 시간대에는 활성 시계열 수가 끝없이 늘어났습니다. Prometheus는 커널에 의해 강제 종료될 때까지 메모리를 소모했고, 재시작하면 엄청나게 커진 WAL(write-ahead log)을 재생해야 했는데, 이 작업이 너무 오래 걸려 끝나기도 전에 프로세스가 다시 종료되었습니다. 모니터링 시스템은 스스로 빠져나올 수 없는 크래시 루프에 빠졌고, 그동안 팀은 메트릭을 전혀 볼 수 없었습니다.
환경
수백 개의 타깃을 스크레이프하며 Grafana 대시보드와 Alertmanager 라우트로 데이터를 공급하는 Kubernetes 기반 Prometheus.
접근 방식
최우선 과제는 Prometheus 프로세스가 계속 살아 있게 만드는 것이었고, 이를 위해서는 메트릭 자체를 다루기 전에 WAL 재생 루프부터 끊어야 했습니다. 서버가 재생을 끝까지 마칠 수 있는 상태로 기동한 뒤, 카디널리티 기준으로 문제의 시계열을 찾아내 relabel 단계에서 제거해 더 이상 수집되지 않도록 했습니다. 이어서 같은 유형의 실수가 아무도 모르게 반복되지 않도록 안전장치를 마련했습니다.
해결책
- 프로세스가 WAL 재생을 완료할 만큼 여유를 확보해 크래시 루프를 끊은 뒤, 원인이 손상이 아니라 메모리였음을 확인
- TSDB status를 이용해 시계열을 카디널리티 순으로 정렬해, 수작업 점검이 아니라 몇 분 만에 문제 레이블 식별
- 애플리케이션이 무엇을 내보내든 수집되지 않도록 metric_relabel_configs에서 무한 레이블 제거
- 타깃 하나의 문제로 서버가 다시 다운되지 않도록 스크레이프 구성별 sample_limit 및 label_limit 적용
- 메모리가 위험 수준에 이르기 전에 발생하는, 활성 시계열 증가율 기반 카디널리티 알림 추가
- 사용자 식별 정보는 메트릭 레이블이 아니라 로그와 트레이스에 넣어야 한다는 올바른 패턴을 애플리케이션 팀과 함께 정립
성과
활성 시계열 수는 감당 가능한 수준으로 돌아왔고 OOM 크래시 루프는 당일에 끝났습니다. 이후 스크레이프 단계의 한도는 추가로 발생한 두 건의 카디널리티 실수를 수집 시점에 차단해, 어느 것도 서버에 영향을 주지 않았습니다.