전체 사례로 돌아가기

기술 지원에너지 / 유틸리티

울려야 할 때 울리고, 울리지 말아야 할 때는 조용한 알림

에너지 유틸리티 운영사

운영 모니터링 환경 전반에서 Grafana 통합 알림, 알림 라우팅, 데이터 소스 안정성에 대한 지속적인 기술 지원을 제공합니다.

개요

한 에너지 유틸리티는 발전 및 배전 현장 전반의 운영 모니터링을 Grafana 알림에 의존하고 있습니다. AceMQ는 알림 규칙 동작, 알림 라우팅, 데이터 소스 안정성을 아우르는 지속적인 기술 지원을 제공합니다.

과제

레거시 알림에서 통합 알림으로 마이그레이션한 뒤, 유틸리티에는 일관되지 않게 울리는 규칙들이 생겼습니다. 일부 알림은 기반 시리즈가 더 이상 보고되지 않는데도 규칙에 no-data 처리가 없어 끝내 해소되지 않았습니다. 다른 알림은 평가 간격이 스크레이프 간격보다 짧아 규칙이 수시로 데이터 공백을 평가하는 바람에 켜졌다 꺼지기를 반복했습니다. 알림 정책은 아무도 전체를 이해하지 못하는 트리로 불어나 있었고, 라벨이 잘못된 경로 하나 때문에 특정 유형의 알림이 아무에게도 전달되지 않은 채 조용히 사라지고 있었습니다.

환경

온프레미스 SCADA 인접 인프라와 클라우드 서비스를 모니터링하고 온콜 로테이션 도구로 알림을 보내는 하이브리드 배포 Grafana.

접근 방식

AceMQ의 기술 지원은 알림 규칙을 운영 코드로 다룹니다. 모든 규칙의 no-data 및 오류 처리를 검토하고, 평가 간격을 기반 스크레이프 및 레코딩 규칙 주기에 맞추며, 모든 알림 정책 경로가 실제로 사람에게 도달하는지 검증합니다. 규칙 변경은 적용 전에 과거 데이터로 테스트합니다.

해결책

  1. 알림 환경을 잘 아는 전담 시니어 엔지니어와 플랜에 따라 15분부터 시작하는 대응 목표를 갖춘 24/7 기술 지원
  2. 조용히 묻히던 실패가 드러나도록 모든 알림 규칙의 no-data 및 실행 오류 처리 감사
  3. 데이터 공백으로 인한 깜빡임을 없애기 위해 평가 간격과 for 지속 시간을 스크레이프 및 레코딩 규칙 주기에 맞춤
  4. 알림 정책 트리를 단순화하고, 테스트 알림으로 모든 경로를 종단 간 검증
  5. 변경 사항을 검토하고 되돌릴 수 있도록 알림 규칙과 연락처(contact point)를 프로비저닝 구성으로 관리
  6. 아무도 대응하지 않는 규칙을 폐기하기 위한 알림 양 및 확인율 정기 검토

성과

깜빡이던 규칙을 수정하자 알림 노이즈가 크게 줄었고, 아무 데도 전달되지 않던 경로가 이제 온콜 담당자에게 도달합니다. 엔지니어들이 다시 알림을 신뢰하게 되었고, 이는 더 빨라진 확인 응답 시간으로 나타나고 있습니다.

기술

GrafanaPrometheusAlertmanagerLinux

Grafana 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Grafana 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.