導入事例の一覧に戻る

アセスメント業界横断

頼りにされているダッシュボードと、1年間誰も開いていないダッシュボードを切り分ける

グローバル物流企業

無秩序に増えたGrafanaのダッシュボード群をアセスメントし、重複、壊れたパネル、そして実際に使われているごく一部のダッシュボードを特定しました。

概要

ある物流企業では、数十のチームにまたがって数千ものGrafanaダッシュボードが積み上がり、オーナーシップの仕組みもありませんでした。AceMQはダッシュボード全体をアセスメントし、実際に使われているもの、壊れているもの、標準化すべきものを明らかにしました。

課題

ダッシュボードは何度も複製されていたため、同じサービスに少しずつ異なるビューが複数存在し、どれが正なのかがはっきりしませんでした。サービスの作り直しによって存在しなくなったメトリクスを参照しているパネルも多く、エンジニアは空のグラフを見ては、パネルが壊れているのではなくサービスがアイドル状態なのだと思い込むことが日常的に起きていました。利用状況がまったく記録されていなかったため、どのダッシュボードが重要なのかを判断する手段もありませんでした。

環境

複数の事業部門が利用するAWS上のGrafana。ダッシュボードはUIからその場しのぎで作成され、バージョン管理はされていない状態。

アプローチ

APIを通じてダッシュボードの全一覧を取得し、すべてのパネルのクエリを、データソースに実際に存在するメトリクスと突き合わせました。さらに閲覧統計を重ね合わせ、実際の利用状況で順位付けしました。その結果、「残す」「直す」「廃止する」の3つのリストと、今後のダッシュボードがばらばらに分岐せず収束していくためのテンプレート設計ができあがりました。

ソリューション

  1. Grafana APIを使い、フォルダーと権限の構造を含めてダッシュボードとパネルの全一覧を抽出
  2. すべてのパネルのクエリを稼働中のデータソースのメタデータと照合し、存在しないメトリクスを参照しているパネルを洗い出し
  3. 閲覧統計を分析し、声の大きい人の意見ではなく実際の利用状況でダッシュボードを順位付け
  4. 重複分析により、パラメーター化した1つのダッシュボードにまとめるべき複製のグループを特定
  5. チーム横断で共通するサービスのパターンをカバーできるよう、変数を使った再利用可能なダッシュボードテンプレートを設計
  6. ダッシュボードを担当者を明確にしたうえでバージョン管理下に置けるよう、Provisioning as Codeのモデルを推奨

結果

ダッシュボードの数は当初のごく一部にまで集約され、残ったダッシュボードにはオーナーが付き、バージョン管理されるようになりました。壊れたパネルを正常なサービスと読み違えることもなくなりました。これは、インシデントの検知が遅れる原因として繰り返し発生していた問題でした。

使用テクノロジー

GrafanaPrometheusAmazon S3Terraform

Grafanaのヘルスチェックをご検討ですか?

AceMQのシニアGrafanaエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。