전체 사례로 돌아가기

진단산업 / 제조

글로벌 뷰가 모든 사이트 뷰와 다른 이유를 밝혀내기

산업 자동화 제조 기업

한계를 넘어 커지면서 사이트 간 데이터 공백과 중복을 일으키던 Prometheus 페더레이션 토폴로지를 진단했습니다.

개요

각 공장마다 Prometheus를 운영하고 그 위에 글로벌 페더레이션 계층을 둔 한 제조 기업은 글로벌 대시보드가 로컬 대시보드와 일치하지 않는다는 사실을 발견했습니다. AceMQ는 이 규모에서 페더레이션이 올바른 패턴인지 판단하기 위해 토폴로지를 진단했습니다.

과제

계층형 페더레이션이 집계값이 아니라 원시 시리즈를 끌어오는 데 사용되고 있었기 때문에, 글로벌 인스턴스는 매 주기마다 각 사이트에서 막대한 양의 데이터를 스크레이프하고 있었습니다. 스크레이프가 수시로 타임아웃을 넘겨 일부 데이터만 반환했고, 이것이 글로벌 뷰와 로컬 뷰가 다른 이유였습니다. WAN 연결이 간헐적으로 끊기는 사이트에서는 공장 가동 중단처럼 보이는 데이터 공백이 생겼습니다. 실제 생산 장애가 발생했을 때 어떤 수치를 믿어야 할지 아무도 알 수 없었습니다.

환경

중앙 관측성 환경과 간헐적인 WAN 연결로 이어진 여러 제조 사이트의 Prometheus.

접근 방식

진단에서는 페더레이션이 실제로 전송하는 양을 스크레이프 타임아웃 예산과 비교해 측정했고, 그 결과 부분 스크레이프 문제가 분명히 드러났습니다. 이어서 고객의 요건에 페더레이션보다 중앙 저장소를 둔 remote write가 더 적합한지 평가하고, 실제 시리즈 수를 바탕으로 각 방안의 대역폭과 스토리지 영향을 모델링했습니다.

해결책

  1. 사이트별 페더레이션 페이로드 크기와 소요 시간을 측정하고 설정된 스크레이프 타임아웃과 비교
  2. 부분 스크레이프 및 데이터 공백 사례를 WAN 링크 이벤트와 대조해 네트워크 문제와 구성 문제를 구분
  3. 집계값만 공장 밖으로 나가도록 사이트마다 레코딩 규칙을 설계해 페더레이션 페이로드를 수십~수백 배 축소
  4. 대안으로 중앙 장기 저장소를 둔 remote write를 평가하고, 실제 시리즈 수 기준으로 대역폭과 스토리지 모델링
  5. WAN 장애가 영구적인 공백이 아니라 나중에 채워지는 데이터로 남도록 버퍼링 및 재시도 동작 정의
  6. 중앙으로는 집계값만 보내더라도 현장 엔지니어가 전체 해상도를 유지할 수 있도록 사이트별 보존 기간 정의

성과

고객사는 사이트 단위 레코딩 규칙과 remote write 방식으로 전환했고, 부분 스크레이프로 인한 공백이 완전히 사라졌습니다. 이제 글로벌 대시보드와 사이트 대시보드가 일치하며, WAN 장애가 발생해도 기록에 영구적인 구멍을 남기지 않고 데이터가 다시 채워집니다.

기술

PrometheusGrafanaKubernetesLinux

Prometheus 헬스 체크를 받을 준비가 되셨나요?

AceMQ의 시니어 Prometheus 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.