概要
あるSaaSプロバイダーのオンコールエンジニアは、アラートの大半が対応不要だったため、反射的に確認済みにするようになっていました。AceMQは、お客様のチームと一緒にお客様自身のDatadog組織上で作業し、モニター群が意味のある状態を保てるよう継続的にサポートしています。
課題
モニターは何年にもわたって、廃止のプロセスがないまま積み上がっていました。その多くは、もはや存在しないトラフィック水準を基準にした固定しきい値を使っていたため、通常のピークのたびに発報していました。複合モニターはアラートの嵐を生み、1つの根本的な障害から数十件の呼び出しが発生していました。マルチアラートのモニターは、その後カーディナリティが高くなったタグでグループ化されていたため、サービス単位ではなくインスタンス単位でアラートを生成していました。モニター群の担当者がいなかったため、何ひとつ削除されることがありませんでした。
環境
マルチリージョンのAWSとKubernetes環境を監視するDatadog。アラートはオンコール当番にルーティングされています。
アプローチ
私たちは、意見ではなくアラートの履歴に基づいて作業します。どのモニターが発報し、その頻度はどうか、その結果として誰かが何か対応したかを確認します。一度も対応につながらないモニターは、廃止するかダッシュボードに格下げします。重要なモニターには、現在の挙動を反映したしきい値、適切なグループ化、予測可能なノイズを抑えるダウンタイムのルールを設定します。
ソリューション
- お客様のアラートレビューのサイクルに専任のシニアエンジニアが参加する、プランに応じた15分からの対応目標付きの24/7サポート
- モニターごとにアラート履歴を分析し、対応につながるものと、常に確認済みにされて閉じられるだけのものを区別
- 基になるシグナルに実際の季節性がある箇所では、固定しきい値を異常検知や予測ベースの条件に置き換え
- マルチアラートのグループ化を修正し、一時的なインスタンス単位ではなくサービス単位でアラートが届くように変更
- 複合モニターのロジックを再構成し、1つの根本障害が嵐ではなく1件の呼び出しにとどまるように変更
- 担当者を紐づけたモニターをコードとして定義し、担当者のいないモニターを可視化して削除できるように整備
結果
実際に顧客へ影響する事象をカバーするモニターはそのままに、呼び出しの件数はおよそ3分の2減少しました。エンジニアが呼び出しを背景ノイズとして扱わなくなったため、確認までの時間も短縮されています。