概要
あるエネルギー公益事業者は、発電所と配電拠点にまたがる運用監視をGrafanaのアラートに頼っています。AceMQは、アラートルールの挙動、通知のルーティング、データソースの安定性を対象に、継続的なサポートを提供しています。
課題
従来のアラートから統合アラートへ移行した後、発報が一貫しないルールが残っていました。基になる時系列の報告が止まったのにルールにNo Dataの処理がなかったため、解決されないままのアラートがありました。評価間隔がスクレイプ間隔より短く、ルールが欠損区間に対して評価されることが多かったため、フラッピングするアラートもありました。通知ポリシーは誰も全体を把握できないツリーにまで膨らんでおり、ラベルの誤ったルートのせいで、ある種類のアラートがどこにも届かないまま黙って消えていました。
環境
オンプレミスのSCADA関連インフラとクラウドサービスを監視するハイブリッド構成のGrafana。アラートはオンコール当番のツールに送られています。
アプローチ
サポートでは、アラートルールを本番のコードとして扱います。すべてのルールでNo Dataとエラーの処理をレビューし、評価間隔を基になるスクレイプとRecording Ruleの周期に合わせ、すべての通知ポリシーの経路が実際に人に届くことを検証します。ルールの変更は、本番適用前に過去のデータでテストします。
ソリューション
- アラート環境を熟知した専任のシニアエンジニアによる、プランに応じた15分からの対応目標付きの24/7サポート
- すべてのアラートルールについてNo Dataと実行エラーの処理を監査し、見えない障害を可視化
- 評価間隔とforの期間をスクレイプとRecording Ruleの周期に合わせ、欠損区間によるフラッピングを解消
- 通知ポリシーのツリーを簡素化し、すべてのルートをテストアラートでエンドツーエンドに検証
- アラートルールとコンタクトポイントをプロビジョニングされた設定として管理し、変更をレビュー可能かつ元に戻せる状態に整備
- アラートの件数と確認率を定期的にレビューし、誰も対応しないルールを廃止
結果
フラッピングするルールを修正したことでアラートノイズは大幅に減り、どこにも届いていなかったルートもオンコール担当に届くようになりました。エンジニアが再びアラートを信頼するようになり、それは確認時間の短縮という形で表れています。