概要
あるコマースプラットフォームでは、Prometheusサーバーが起動後数分でOOM Killされるようになり、メトリクスが見えなくなりました。きっかけは定例のアプリケーションのデプロイで、原因はたった1つの新しいラベルでした。
課題
あるチームが、リクエストのカウンターにユーザーIDをラベルとして追加していました。ユーザーごとに新しい時系列が作られるため、トラフィックの多い時間帯にはアクティブな時系列の数が際限なく増えていきました。Prometheusはカーネルに強制終了されるまでメモリを消費し、再起動すると巨大に膨らんだWAL(ログ先行書き込み)をリプレイしなければならず、それに時間がかかるため、完了する前に再びプロセスが強制終了されていました。監視システムは自力では抜け出せないクラッシュループに陥り、停止している間、チームはメトリクスをまったく見られない状態でした。
環境
数百のターゲットをスクレイプするKubernetes上のPrometheus。GrafanaのダッシュボードとAlertmanagerのルートにデータを供給。
アプローチ
最優先は、Prometheusのプロセスを稼働し続けさせることでした。そのためには、メトリクス自体に対処する前に、WALのリプレイのループを断ち切る必要がありました。サーバーをリプレイを完了できる状態で起動し、カーディナリティから問題の時系列を特定し、relabelの段階で破棄して取り込まれないようにしたうえで、同じ種類のミスが気づかれないまま繰り返されないようガードレールを設けました。
ソリューション
- プロセスにWALのリプレイを完了できるだけのメモリの余裕を与えてクラッシュループを断ち切り、問題がデータ破損ではなくメモリであることを確認
- TSDBのステータスを使って時系列をカーディナリティ順に並べ、目視ではなく数分で問題のラベルを特定
- 上限のないラベルをmetric_relabel_configsで破棄し、アプリケーションが何を出力しても取り込まれないように
- スクレイプ設定ごとにsample_limitとlabel_limitを適用し、1つの不正なターゲットが再びサーバーを停止させることがないように
- メモリが危険な水準に達する前に発報する、アクティブな時系列の増加率に対するカーディナリティのアラートを追加
- アプリケーションチームと正しいパターンを共有:ユーザーの識別情報はメトリクスのラベルではなく、ログとトレースに含めるべきもの
結果
アクティブな時系列の数は持続可能な水準に戻り、OOMによるクラッシュループはその日のうちに解消しました。その後、スクレイプレベルの制限が、さらに2件のカーディナリティのミスを、どちらもサーバーに影響する前に取り込みの段階で食い止めています。