概要
各工場でPrometheusを運用し、その上にグローバルなFederation層を置いていたメーカーで、グローバルのダッシュボードがローカルのダッシュボードと一致しないことが判明しました。AceMQは、同社の規模でFederationが適切なパターンなのかを見極めるため、トポロジーを評価しました。
課題
階層型のFederationが、集計値ではなく生の時系列を取得するために使われていたため、グローバルのインスタンスはスクレイプのたびに各拠点から膨大なペイロードを取得していました。スクレイプは頻繁にタイムアウトを超えて部分的なデータを返しており、それがグローバルとローカルのビューが一致しない原因でした。WAN回線が断続的な拠点では欠損が生じ、それが工場の停止のように見えていました。実際の本番インシデントの最中に、どの数値を信頼すべきかを誰も判断できない状態でした。
環境
複数の製造拠点に配置されたPrometheus。中央のオブザーバビリティ環境とは断続的なWAN接続でつながっています。
アプローチ
このアセスメントでは、Federationで実際に転送されている量をスクレイプのタイムアウトの予算と比較して計測し、部分的なスクレイプの問題を明確にしました。そのうえで、お客様の要件にはFederationよりも中央ストアへのremote writeのほうが適しているかを評価し、実際の時系列数に基づいて、それぞれの選択肢の帯域幅とストレージへの影響をモデル化しました。
ソリューション
- 拠点ごとにFederationのペイロードサイズと所要時間を計測し、設定されたスクレイプのタイムアウトと比較
- 部分的なスクレイプと欠損のインシデントをWAN回線のイベントと相関分析し、ネットワークの問題と設定の問題を切り分け
- 各拠点にRecording Ruleを設計して集計値だけを工場外に送るようにし、Federationのペイロードを桁違いに削減
- 代替案として中央の長期ストアへのremote writeを評価し、実際の時系列数に基づいて帯域幅とストレージをモデル化
- WANの障害が永続的な欠損ではなく後から埋め戻されるデータになるよう、バッファリングとリトライの挙動を規定
- 中央には集計値だけが送られる場合でも、現地のエンジニアが完全な解像度を保持できるよう、拠点ごとの保持期間を定義
結果
お客様は拠点レベルのRecording Ruleとremote writeの構成に移行し、部分的なスクレイプによる欠損は完全になくなりました。グローバルと拠点のダッシュボードは一致するようになり、WANの障害が起きても記録に永続的な穴が空くことはなく、後から埋め戻されるようになっています。