개요
한 물류 기업은 소유권 모델 없이 수십 개 팀에 걸쳐 수천 개의 Grafana 대시보드를 쌓아 왔습니다. AceMQ는 전체 대시보드를 평가해 무엇이 실제로 쓰이고, 무엇이 깨져 있으며, 무엇을 표준화해야 하는지 파악했습니다.
과제
대시보드가 반복적으로 복제되면서 같은 서비스에 대해 조금씩 다른 뷰가 여러 개 존재했고, 무엇이 기준인지 분명하지 않았습니다. 서비스를 재작성한 뒤 더는 존재하지 않는 메트릭을 참조하는 패널도 상당수였기 때문에, 엔지니어들은 빈 그래프를 보고 패널이 깨진 것이 아니라 서비스가 유휴 상태라고 판단하곤 했습니다. 사용 현황을 추적한 적이 없어 어떤 대시보드가 중요한지 알 방법도 없었습니다.
환경
여러 사업부가 사용하는 AWS 기반 Grafana. 대시보드는 버전 관리 없이 UI에서 그때그때 만들어진 상태였습니다.
접근 방식
API로 전체 대시보드 목록을 추출하고, 모든 패널 쿼리를 데이터 소스에 실제로 존재하는 메트릭과 대조한 뒤, 조회 통계를 더해 실제 사용량 기준으로 순위를 매겼습니다. 그 결과 유지, 수정, 폐기의 세 목록과 함께, 앞으로 만들어질 대시보드가 제각각 갈라지지 않고 하나로 수렴하도록 하는 템플릿 설계를 도출했습니다.
해결책
- Grafana API로 폴더 및 권한 구조를 포함한 전체 대시보드와 패널 목록 추출
- 모든 패널 쿼리를 실시간 데이터 소스 메타데이터와 대조해 더는 존재하지 않는 메트릭을 참조하는 패널 표시
- 목소리가 가장 큰 사람이 아니라 실제 사용량을 기준으로 대시보드 순위를 매기기 위한 조회 통계 분석
- 하나의 매개변수화된 대시보드로 통합해야 할 복제 대시보드 그룹을 찾는 중복 분석
- 팀 전반의 공통 서비스 패턴을 포괄하도록 변수를 갖춘 재사용 가능한 대시보드 템플릿 설계
- 대시보드를 지정된 소유자와 함께 버전 관리 시스템에서 관리하는 Provisioning-as-code 모델 권고
성과
전체 대시보드 수는 원래의 극히 일부로 줄었고, 남은 대시보드에는 모두 소유자가 지정되고 버전 관리가 적용되었습니다. 엔지니어들이 깨진 패널을 정상 서비스로 오인하는 일도 사라졌는데, 이는 장애 감지가 지연되는 원인으로 반복해서 지목되던 문제였습니다.