このページの内容
Kafkaの監視をひとことで
Kafkaの監視をひとことで
KafkaはメトリクスをJMXで公開しているため、収集に関して考えるべきことは、どのエクスポーターを向けるかだけです。ブローカーでは、4つの数値がシグナルの大半を担います。UnderReplicatedPartitionsとUnderMinIsrPartitionCountはレプリケーションが劣化していることを示し、後者の場合はacks=allの書き込みがすでに失敗していることを意味します。OfflinePartitionsCountがゼロを超えていれば、今まさにデータが利用できない状態です。そしてActiveControllerCountは、クラスター全体の合計がちょうど1でなければなりません。その下のレベルでは、リクエストハンドラーとネットワークプロセッサーのアイドル率が、ブローカーに余裕があるかどうかを示します。クライアント側では、コンシューマーラグは生のオフセットの差ではなく、増加率と追いつくまでの時間として捉えることが重要です。また、プロデューサーのエラー率とリクエストのレイテンシは、確認応答の経路が完全に失敗する前に劣化していく様子を示します。アラートは、ブローカーの4つの条件、デプロイにかかる時間より長く増え続けるラグ、そしてプロデューサーのエラーに対して設定し、残りはグラフにしておきます。
収集:JMXと、その扱い方
Kafkaが保持するブローカー、プロデューサー、コンシューマーのメトリクスは、すべてJMXで公開されています。実際には、各ブローカーでPrometheus JMX exporterをJavaエージェントとして動かし、クライアントのメトリクスはブローカーから推測するのではなく、アプリケーション自身からスクレイプすることになります。専用のエクスポーターを用意する価値がある例外がコンシューマーラグです。ブローカー側の見え方とコンシューマー自身の見え方が、まさに重要な状況で食い違うからです。ポーリングを止めたコンシューマーでも、コミット済みのオフセットは__consumer_offsetsに残っているため、外から見るとグループは生きているように見えます。
レプリケーションの健全性:ブローカーの4つの数値
UnderReplicatedPartitionsがゼロを超えている場合、少なくとも1つのフォロワーがISR(同期レプリカのセット)から外れています。クラスターはまだ処理を続けていますが、冗長性は失われています。UnderMinIsrPartitionCountはより深刻です。min.insync.replicasを下回ったパーティションはacks=allのproduceリクエストをすべて拒否するため、ブローカーは稼働しているように見えるのに、プロデューサーは失敗しているからです。OfflinePartitionsCountがゼロを超えている場合、リーダーのいないパーティションがあり、読み取りも書き込みもできません。そしてActiveControllerCountは、クラスター全体の合計が1でなければなりません。ゼロはコントローラーが存在しないこと、2はスプリットブレインを意味します。この4つが、誰かを呼び出すべき項目の一覧です。
飽和:リクエストハンドラー、ネットワークスレッド、ディスク
RequestHandlerAvgIdlePercentとNetworkProcessorAvgIdlePercentは、ブローカーの余裕を示します。およそ30パーセントを下回る値が続く場合は、スレッドプールがボトルネックになっていて、その下流のすべてが遅くなります。レプリケーションも例外ではなく、こうして飽和の問題がレプリカ不足のパーティションの問題に変わります。あわせて、ISRの縮小と拡大の頻度も監視してください。ISRの縮小と拡大を繰り返すクラスターは、たいていブローカーの数ではなく、IOやネットワークが不足しています。ディスクの逼迫もよくある問題で、それを左右するのは保持期間の設定です。
コンシューマーラグ:数値ではなく増加率で見る
ラグとは、パーティションのログの末尾のオフセットと、コンシューマーグループのコミット済みオフセットとの差です。その絶対値だけではほとんど意味がありません。健全な高スループットのコンシューマーでも、数千メッセージ遅れていて数秒で追いつくことがあるからです。重要なのは、ラグが増えているかどうか、そして現在の消費速度でグループがゼロに戻るまでにどれだけかかるかです。通常のデプロイより長い時間枠でラグが増え続けている場合と、追いつくまでの時間が下流のシステムの許容範囲を超えた場合にアラートを出してください。固定のしきい値では、ローリング再起動のたびに呼び出しがかかり、誰もが無視するようになってしまいます。
リバランス:回数を数え、きっかけを突き止める
リバランスの間は、パーティションが割り当て直されるまでグループ全体の消費が止まります。そのため、リバランスの頻度は消費の可用性を示すメトリクスです。グループごとに追跡してください。定期的にリバランスを起こすグループは、ほぼ必ず、バッチの処理に設定した間隔より時間がかかってmax.poll.interval.msに達しているか、セッションタイムアウトでメンバーを失っています。対策はタイムアウトではなくきっかけのほうを直すことですが、原因を探している間は、cooperative stickyの割り当てと静的グループメンバーシップによって、リバランスのたびにかかるコストを減らせます。
プロデューサー側:エラー率とレイテンシの経路
プロデューサーのレコードのエラー率がゼロを超えたら、常にアラートを出す価値があります。書き込めないプロデューサーは、アプリケーションがその失敗をうまく処理しない限りデータを失っており、たいていのアプリケーションはうまく処理できていないからです。リクエストのレイテンシは先行指標です。タイムアウトが始まるよりずっと前に、確認応答の経路が劣化するにつれて上昇します。利用可能なバッファーのバイト数(buffer-available-bytes)がゼロに近づいている場合、クライアントは送信できるよりも速くデータを生成しており、設定によってはブロックするか、データを破棄し始めます。3つとも、クライアント側のメトリクスです。ブローカーだけをスクレイプしていると、ユーザーが最初に気づく障害パターンが見えなくなるのはこのためです。
設定する価値のあるアラートの一覧
呼び出しをかけるもの:オフラインのパーティションがゼロ超、min ISRを下回るパーティションがゼロ超、アクティブなコントローラー数が1以外、プロデューサーのエラー率がゼロ超、そしてデプロイの時間枠より長く増え続けるコンシューマーラグ。呼び出しはせず、チケットにするもの:数分以内に回復するレプリカ不足のパーティション、30パーセントを下回るリクエストハンドラーのアイドル率、ベースラインを超えるリバランスの頻度、70パーセントを超えるディスク使用率。それ以外はすべて、オンコールのローテーションではなく、インシデント中に誰かが見るダッシュボードに置くべきものです。アラートの良し悪しは、午前3時に起こされた人がそれに対して何か手を打てるかどうかで決まります。
よくある質問
Kafkaのどのメトリクスで、実際に担当者を呼び出すべきですか?
オフラインのパーティションがゼロ超、min ISRを下回るパーティションがゼロ超、アクティブなコントローラー数が1以外、プロデューサーのレコードのエラー率がゼロ超、そしてデプロイより長い時間枠で増え続けるコンシューマーラグです。レプリカ不足のパーティションとスレッドプールの飽和は、続かない限り、呼び出しではなくチケットで十分です。
レプリカ不足(under-replicated)のパーティションと、min ISRを下回る(under-min-ISR)パーティションの違いは何ですか?
レプリカ不足とは、フォロワーがISR(同期レプリカのセット)から外れた状態で、冗長性は下がっていますが、パーティションはまだ処理を続けています。min ISRを下回るとは、同期レプリカのセットがmin.insync.replicasを下回った状態で、ブローカー自体は健全に見えるのに、acks=allのproduceリクエストはすでに拒否されています。
コンシューマーラグには、どのようにアラートを設定すべきですか?
オフセットの差の絶対値ではなく、増加率と追いつくまでの時間で設定します。健全な高スループットのコンシューマーでも大きく遅れてから数秒で回復することがあるため、固定のしきい値ではローリング再起動のたびに呼び出しがかかります。通常のデプロイの時間枠を超えて増え続けるラグに対してアラートを出してください。
ブローカーの監視だけで十分ですか?それともクライアントのメトリクスも重要ですか?
クライアントのメトリクスは重要です。ブローカーだけの監視では、ユーザーが最初に気づく障害を見逃します。プロデューサーのエラー率、リクエストのレイテンシ、コンシューマーラグはクライアント側にあります。ポーリングを止めたコンシューマーも、コミット済みオフセットというブローカー側の見え方では、生きているように見えることがあります。