概要
ある通信事業者のGrafanaは、大規模なインシデントの最中に極端に遅くなっていました。それはまさに、ネットワーク運用チームがGrafanaに頼るタイミングです。AceMQはレプリカを増やすのではなく、障害の発生メカニズムそのものを解消しました。
課題
原因は自ら招いたものでした。インシデント中には数十人のエンジニアが同じ重いダッシュボード群を開き、それぞれが多数の範囲クエリを同時にデータソースへ投げていました。バックエンドが追いつかずにパネルがタイムアウトし、エンジニアが更新ボタンを押すと、そのリトライの嵐が状況をさらに悪化させました。さらに、Grafana自身がバックエンドのデータベースに書き込むセッションとアノテーションが競合を上乗せしていました。個々の要素はどれも壊れておらず、システムは必要とされたときにだけ破綻していたのです。
環境
リレーショナルデータベースをバックエンドとするKubernetes上のGrafana。複数のリージョンにまたがるPrometheusと長期メトリクスストレージにクエリを発行しています。
アプローチ
定常時ではなくインシデント時のアクセスパターンで負荷テストを行い、障害を再現しました。これによって、コストの高いパネルがはっきりと特定できました。そのうえで、ダッシュボードごとのクエリコストを削減し、データソースの前段にキャッシュを追加し、Grafanaのバックエンドデータベースの負荷をクエリ経路から切り離して、データソースが遅いときでもUIが応答し続けるようにしました。
ソリューション
- 平均的なトラフィックではなく、実際のインシデント時のアクセスパターン(多数の閲覧者が同じダッシュボードを同時に開く状況)に基づく負荷テスト
- コストの高いパネルを特定し、Recording Ruleを使って書き直し、重い集計を閲覧者ごとではなく取り込み時に1回だけ実行
- データソースの前段にクエリ結果のキャッシュを追加し、パネルごとの更新間隔に合わせてTTLを調整
- ダッシュボードの更新間隔とデフォルトの時間範囲を見直し、開いたままのタブが継続的に負荷を生まないように変更
- Grafanaのバックエンドデータベースをチューニングし、コネクションプーリングを修正して、アノテーションとセッションの書き込みによる競合を解消
- パネル単位でクエリのタイムアウトを設定し、データソースが遅くてもダッシュボード全体ではなく1つのパネルの劣化にとどまるように変更
結果
インシデント時のダッシュボードの読み込み時間は数十秒からほぼ瞬時に短縮され、リトライの嵐も発生しなくなりました。ネットワーク運用チームは現在、大規模インシデントの最中でも場当たり的なクエリに頼ることなくGrafanaを使っています。