On this page
Kafkaのリバランスとは、グループ内のコンシューマー間でパーティションを再配分する処理です。メンバー構成が変わったとき、つまりコンシューマーが参加した、離脱した、停止したと判定されたとき、あるいは購読しているトピックのパーティション数が変わったときに発生します。正常なグループでは、リバランスはたまに短時間起きるだけです。数分おきにリバランスしているグループには設定上の問題があり、その結果生じる停止は、たいていブローカーやスループットの問題と誤解されます。
Kafkaのリバランスそのものは障害ではありません。Apache Kafkaがコンシューマーにパーティションを割り振り、デプロイメントの規模が変わっても処理を均等に分散させるための仕組みです。リバランスの仕組みを理解しておくことが重要なのは、ワークロードに見合わないほど頻繁に発生したときに問題が起きるからです。
ほぼすべての対策は、クラスターへの変更ではなくコンシューマーの設定変更です。だからこそ、仕組みを理解しておく価値があります。
Kafkaのリバランスが発生するきっかけ
きっかけは4つあり、意図したものは最初の2つだけです。
新しいコンシューマーがグループに参加する。スケールアップや、デプロイ後のPodの起動です。これは想定どおりの動作で、新しいコンシューマーが参加すると、コーディネーターはすでに稼働しているコンシューマーも含めてパーティションを割り振り直します。
コンシューマーが正常に離脱する。離脱リクエストを送るグレースフルシャットダウンです。これも想定どおりです。コンシューマーが参加または離脱すれば、必ず再配分が行われます。
コンシューマーが停止したと判定される。問題が起きるのはここです。グループコーディネーターは、コンシューマーがいなくなったと判断した瞬間にリバランスを開始します。その判断は、次の2つのタイマーのどちらかが切れたときに下されます。
session.timeout.ms(デフォルト45秒)。コンシューマーはバックグラウンドスレッドでheartbeat.interval.ms(デフォルト3秒)ごとにハートビートを送信します。一定数のハートビートが届かないと、コーディネーターはそのコンシューマーを追い出します。実際のクラッシュ、ネットワーク分断、長いGC停止を検出するためのものです。max.poll.interval.ms(デフォルト5分)。メインスレッドでのpoll()呼び出しの間隔です。ハートビートはバックグラウンドスレッドで送られ続けるため、コンシューマーは生きているように見えます。しかし、アプリケーションがバッチの処理に時間をかけすぎると、コーディネーターはやはりそのコンシューマーを追い出します。
本番環境で原因不明のリバランスの大半を引き起こしているのは、この2つ目です。コンシューマーはクラッシュしていません。処理が遅いだけです。しかしKafkaには、遅いコンシューマーと止まったコンシューマーを区別できません。
パーティション数が変わる。Kafkaのトピックに新しいパーティションが追加されると、再割り当てが行われます。購読内容の変更でも同じことが起きます。
後の2つは、できれば起きてほしくないリバランスです。原因が何であれ、Kafkaのリバランスにかかるコストは同じで、不要なリバランスこそが、正常に動いていたコンシューマーグループを停滞させてしまいます。
Kafkaのリバランス中に実際に起きていること
グループ内のすべてのコンシューマーが消費を停止し、グループに再参加して、再開できるまで待機します。グループリーダー(Kafkaブローカーではなく、コンシューマーのうちの1つ)がグループコーディネーターにリクエストを送り、パーティションの割り当てを計算して、その結果を配布します。まずパーティションが取り消され、その後で割り当て直されます。どのコンシューマーがどのパーティションを担当するかは、毎回変わる可能性があります。
重要なのは、これが同期バリアだという点です。コンシューマーグループ内のすべてのコンシューマーは足並みをそろえて動き、最も遅いメンバーがペースを決めます。1つのコンシューマーの再参加に30秒かかれば、グループ全体が30秒待つことになります。リバランス処理の間はメッセージが一切処理されないため、Kafkaクラスターのすべてのブローカーが正常であっても、滞留が発生し、ラグが増え続けます。
リバランスとラグがよく混同されるのはこのためです。原因となっているリバランスではなく、増え続けるラグのほうを追いかけている場合は、Kafkaのコンシューマーラグの診断で症状側から解説しています。
イーガーリバランスと協調的リバランス
Kafkaのリバランスプロトコルには2つの世代があり、どちらを使っているかによって、リバランス1回あたりのコストが大きく変わります。
イーガー(eager)リバランスは、当初からある、全体を停止させる(stop-the-world)方式です。新しい割り当てが計算される前に、すべてのコンシューマーが自分に割り当てられたパーティションをすべて取り消します。200個のパーティションのうち2個しか移動しない再割り当てであっても、すべてが止まります。停止時間は、実際にどれだけ変わったかではなく、グループの規模と再参加にかかる時間に比例します。
インクリメンタルリバランスは、実際に移動するパーティションだけを取り消します。コンシューマーは、引き続き担当するパーティションの処理をすべて続けます。協調的(cooperative)リバランスプロトコルは、重い1回のラウンドではなく軽い2回のラウンドで実行されるため、リバランスの影響はメンバー数ではなく変更の規模に比例します。ほとんどの環境では、このインクリメンタルな協調方式を使うべきです。
この方式はKafka 2.4から利用できますが、古いKafkaクライアントでは必ずしもデフォルトになっていません。静的メンバーシップはそれより少し早く、Kafka 2.3で導入されました。切り替えは1行で済みます。
partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignor⚠️ この設定を変えてそのままデプロイしないでください。イーガーから協調方式への移行には、2段階のローリングアップグレードが必要です。まず両方の戦略を列挙した状態でデプロイしてグループの合意を取り、2回目のデプロイでイーガー方式を削除します。稼働中のグループで一度に変更すると、リバランスが失敗します。
新しいリリースでは、さらに一歩進んでいます。新しいコンシューマーリバランスプロトコルでは、割り当ての計算がブローカー側に移り、グローバルな同期バリアが完全になくなるため、コンシューマーが一斉に止まることはなくなります。この新プロトコルは、Apache Kafka 4.0で一般提供(GA)になりました。最近のリリースを使っているなら評価する価値はありますが、ほとんどの本番環境はまだそこまで到達しておらず、現時点ではstickyアサイナーで効果の大部分が得られます。
パーティション割り当て戦略
| アサイナー | 動作 | リバランスのコスト |
|---|---|---|
RangeAssignor | トピックごとに連続した範囲を割り当て | イーガー。複数のトピックにまたがると偏って配分されることがある |
RoundRobinAssignor | すべてのパーティションに均等に分散 | イーガー。すべてを割り当て直す |
StickyAssignor | 均等に分散し、可能な限り以前の割り当てを維持 | イーガーだが、移動するパーティションは少ない |
CooperativeStickyAssignor | stickyで、移動するものだけを取り消す | インクリメンタル。選ぶべきはこれ |
stickyであることの価値は、停止時間だけにとどまりません。リバランスをまたいでコンシューマーが同じトピックパーティションを担当し続けられれば、キャッシュ、処理中の集計、Kafka Streamsのステートストアといった、温まったローカル状態を維持できます。不必要に割り当てを入れ替えるとそれが失われ、その復旧コストがリバランスそのものを上回ることも少なくありません。
Spring Kafkaなどのフレームワークのラッパーを使っている場合も、同じ基盤のプロパティで設定します。フレームワークによって、利用できる戦略が変わることはありません。
Kafkaのリバランスストーム:自然には回復しない理由
当社にご相談いただくリバランスの問題は、ほぼ例外なく次のパターンをたどります。
- 処理が遅くなる。下流のAPIの性能が落ちる、あるいはバッチが大きくなる。
- あるコンシューマーが
max.poll.interval.msを超え、追い出される。 - グループがリバランスし、全員が停止する。
- 停止中に滞留が増える。
- 再開すると、各コンシューマーは増えた滞留に対してバッチを満杯まで取得し、処理にさらに長くかかる。
- 別のコンシューマーが間隔を超える。手順3に戻る。
クラスター自体は正常なまま、データ処理のスループットだけが崩壊します。
Kafkaのリバランスが起きるたびに次のリバランスが起きやすくなるため、自然に回復することはありません。だからこそ、チームはコンシューマーの設定ではなく、クラスターのほうを調べ始めてしまうのです。
このループを断ち切るには、たいていの場合、バッチが間隔内に終わるようにすれば十分です。
max.poll.recordsを減らす。単独の変更として最も効果があります。1回のpollで取得するレコードが少なければ、poll間の時間も短くなります。まずは半分にしてみてください。max.poll.interval.msを上げる場合は、通常の処理時間ではなく、最悪ケースの処理時間を確実に上回る値にします。推測ではなく、p99を測定してください。- 遅い処理をpollingスレッドから切り離す。処理に所要時間の読めないネットワーク呼び出しが含まれるなら、pollループはそれを置く場所ではありません。
- この問題を直すために
session.timeout.msを増やさない。これは別のタイマーであり、効果はありません。本当に停止したコンシューマーの検出が遅れるだけです。
静的メンバーシップ
コンシューマーが日常的に再起動する環境、最もわかりやすいのはKubernetes上のローリングデプロイですが、そうした環境では、静的メンバーシップによって再起動でリバランスが起きること自体を防げます。
各コンシューマーに安定したgroup.instance.idを割り当てます。タイムアウト時間内に再起動すれば、コーディネーターは戻ってきたメンバーを識別し、何も再配分せずに以前のパーティションを返します。
group.instance.id=consumer-3
session.timeout.ms=45000トレードオフも正直にお伝えします。本当に停止したメンバーは、セッションがタイムアウトするまで置き換えられないため、その間そのパーティションは消費されないままになります。有効にする前に、再起動時のリバランスが必要かどうかを判断してください。タイムアウトは、ローリング再起動にかかる時間を十分に上回る値にし、それ以上には長くしないでください。
起動時について知っておきたいブローカー側の設定もあります。group.initial.rebalance.delay.ms(デフォルト3秒)を設定すると、コーディネーターは最初のリバランスの前に少し待機するため、同時に起動したコンシューマーは、到着するたびにリバランスを繰り返すのではなく、1つのグループとしてまとまります。小さなことですが、Kubernetesのデプロイで発生するノイズを大幅に減らせます。
監視すべき項目
次の3つを、必ず組み合わせて監視してください。
- リバランスの発生頻度。シグナルそのものです。たまに起きる程度を超えていれば調査が必要で、リバランスのループに陥ったコンシューマーは、まずここに現れます。
- リバランスの所要時間。所要時間が伸びているなら、コンシューマーの再参加が遅くなっています。多くの場合、リバランスを引き起こしたのと同じ処理の遅さが原因です。
- リバランス中のコンシューマーラグ。停止によって実際にスループットが失われているのか、問題にならない程度に短いのかを確認できます。
デプロイの前後に1日数回Kafkaのリバランスが走る程度のコンシューマーグループなら問題ありません。数分おきにリバランスしているなら、max.poll.interval.msを超えているというサインであり、クラスターをどれだけチューニングしても変わりません。
リバランスストームや原因不明のコンシューマーの停止が起きていませんか?これらはほぼ例外なく、クラスターではなくコンシューマーの
設定に原因があります。ブローカーのメトリクスに異常がないのにスループットが
崩壊するのはそのためです。AceMQは、こうした問題を見つけ出す体系的なKafkaアセスメントを実施しています。
Kafkaサポートとインシデント対応をご覧いただくか、AceMQのエンジニアにご相談ください。
こうした知識をすべて1人が抱えているなら、それはKafkaのリスクではなく人員体制のリスクです。Kafkaを自社でサポートする実際のコストもあわせてご覧ください。
協調的リバランスの実践:確認方法、移行手順、StreamsとConnectの動作
range、round-robin、そして当初のstickyアサイナーは、いずれもイーガープロトコルを使います。メンバー構成が変わると、コーディネーターはグループをPreparingRebalanceに移行させ、すべてのコンシューマーが保有するすべてのパーティションを取り消し、全員が再参加して、リーダーが新しい割り当てを配ります。その往復の間、グループ全体が停止します。
Kafka 2.4では、コンシューマー向けに協調的リバランスが導入されました。インクリメンタルな協調プロトコルでは、リバランスは2つのフェーズで実行されます。最初のフェーズでは、リーダーが新しい割り当てを計算し、各コンシューマーは自分から離れるパーティションだけを取り消し、それ以外のパーティションではpollとコミットを続けます。その直後に2回目のリバランスが行われ、解放されたパーティションが新しい担当に渡されます。クライアント側のアサイナーでこのプロトコルを使うのはCooperativeStickyAssignorだけです。
当社が呼ばれるグループの多くは、気づかないままイーガー方式で動いています。まずコンシューマーの設定を確認します。partition.assignment.strategyはリストで、最近のクライアントではデフォルトのリストにrangeとcooperative-stickyの両方が含まれています。コーディネーターはすべてのメンバーがサポートする戦略を1つ選ぶため、デフォルトのままではrangeが選ばれます。次に、グループをdescribeして、コーディネーターが実際に選択した戦略を確認します。
kafka-consumer-groups.sh --bootstrap-server broker:9092 \
--describe --group orders-svc --stateASSIGNMENT-STRATEGY列にはrangeまたはcooperative-stickyと表示されます。rangeであれば、再起動のたびに依然として全体が停止しています。
稼働中のグループの移行には2回のローリング再起動が必要で、順序が重要です。1回目では、partition.assignment.strategyに現在のイーガーアサイナーとCooperativeStickyAssignorをこの順で設定します。新旧のインスタンスが混在する間もイーガー方式が選ばれ続けるよう、イーガーのほうを先頭に置きます。2回目でイーガーアサイナーを削除します。一度に変更すると、再起動の途中で参加したメンバーが他のメンバーと共通の戦略を見つけられず、リバランスがエラーになるため失敗します。
Kafka Streamsのアプリケーションは、独自のアサイナーを通じてすでに協調プロトコルで動いているため、設定は不要です。Kafka Connectのワーカーは、connect.protocolで制御される別のインクリメンタル協調プロトコルでコネクターとタスクを分散させており、すべてのワーカーが対応していれば、デフォルトで有効になります。
トレードオフはわずかです。協調的リバランスは1回ではなく2回のリバランスで構成されるため、全体としてはやや時間がかかり、その間、移動するパーティションは未割り当ての状態になります。その代わり、移動しないパーティションは一度も止まりません。何台のコンシューマーで処理を分担できるかは、選んだパーティション数で上限が決まります。これについてはパーティション戦略ガイドで解説しています。
「リバランス中のため再参加が必要」(REBALANCE_IN_PROGRESS)と「preparing rebalance」のループを解消する
"The group is rebalancing, so a rejoin is needed"は、REBALANCE_IN_PROGRESSエラーコードに付くメッセージです。コーディネーターは、リクエストに含まれる世代(generation)がすでに最新でないコンシューマーにこれを返します。最も多いのは、グループがPreparingRebalanceに移行した後に送られたハートビート、同期、オフセットコミットです。単独では障害ではなく、クライアントが再参加すればグループは落ち着きます。問題になるのは、これが数秒おきに繰り返され、グループがいつまでもStableに到達せず、ラグが増え続ける場合です。コーディネーターブローカーには対応する"Preparing to rebalance group ... (reason: ...)"という行が記録されており、このreasonフィールドを見るのが、次のどれが起きているかを見分ける最も早い方法です。
1. max.poll.interval.msの超過。コンシューマーは生きていますが、poll間の時間が長すぎたため外されています。確認方法:コンシューマーのログに"consumer poll timeout has expired"と出ており、ブローカーのreasonにメンバーの離脱が記載されています。対策:最悪ケースのバッチ処理が間隔内に収まるまでmax.poll.recordsを下げ、それでもp99が収まらない場合に限りmax.poll.interval.msを上げます。
2. GC停止やネットワークに対してsession.timeout.msが低すぎる。ハートビートスレッドが止まるか、そのパケットが遅延して、メンバーが追い出されています。確認方法:ブローカーのreasonに"heartbeat expiration"とあり、GCログにタイムアウトに近い停止が記録されていて、pollタイムアウトのメッセージは出ていません。対策:ブローカーのgroup.max.session.timeout.msの範囲内でsession.timeout.msを上げ、停止そのものを解消します。同じJVM内のプロデューサーにも関連する症状が現れます。これについてはプロデューサーのタイムアウトの原因と対策で解説しています。
- 3. コンシューマーのスケーリングがループしている。ラグが増えるとオートスケーラーがレプリカを追加し、ラグが減ると削除し、するとまたラグが増えます。スケールのたびにリバランスが発生します。確認方法:
--membersを付けてグループをdescribeすると、メンバー数が分単位で変わり、デプロイイベントと一致しています。対策:スケールダウンに安定化ウィンドウを設け、レプリカ数をパーティション数で上限とし、生のラグよりも滑らかなシグナルでスケールさせます。ラグの正しい測り方はコンシューマーラグのガイドで解説しています。 - 4. 静的メンバーシップを使っていない。
group.instance.idがなければ、10個のPodのローリングデプロイは、10回の離脱と10回の参加になります。設定していれば、セッションタイムアウト内に戻ってきたPodはリバランスなしで以前の割り当てを再開します。確認方法:--members --verboseで、再起動のたびに変わる自動生成のメンバーIDが表示されます。対策:Podごとに安定したインスタンスIDを設定します。 - 5. コーディネーターまたはブローカーの変更。グループを保持する
__consumer_offsetsパーティションが別のブローカーに移り、グループが再読み込みされたため、すべてのメンバーがコーディネーターを再検出して再参加する必要がありました。確認方法:新しいブローカーのログに"Loading group metadata"と出ており、そのタイミングが再起動やリーダー選出と一致しています。対策:クライアント側でできることはありません。ブローカーの再起動1回につきリバランス1回は想定どおりですが、コーディネーターの移動が繰り返されるなら、クラスター自体が不安定です。
こうしたループの大半を解消する3つのプロパティ:
max.poll.records=100
group.instance.id=orders-svc-${POD_ORDINAL}
partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignor当社は、プランに応じた15分からの対応目標を備えた24/7 Kafkaサポートのもとで、エンタープライズのお客様にこれらの対策を適用しています。また、Kafkaコンサルティングでは、最初からこの形でグループを設計します。
これはKafka運用ガイドの全10ステップのうち4番目です。このガイドでは、本番環境で運用上の判断が必要になる順番に沿って解説しています。
よくある質問
Kafkaのコンシューマーグループでリバランスが発生するきっかけは何ですか?
コンシューマーの参加、正常な離脱、またはグループコーディネーターによる停止判定です。停止判定は、session.timeout.msを超えてハートビートが届かなかった場合か、poll間の間隔がmax.poll.interval.msを超えた場合に行われます。購読しているトピックのパーティション数が変わった場合にも発生します。
リバランスでレイテンシーや滞留が発生するのはなぜですか?
リバランスが同期バリアだからです。グループが再参加して新しい割り当てを待つ間、コンシューマーは消費を停止するため、最も遅いメンバーが全員の停止時間を決めることになります。その間は何も処理されず、ラグが積み上がります。
Kafkaの協調的(cooperative)リバランスとは何ですか?
実際に担当が移るパーティションだけを取り消し、それ以外はコンシューマーが処理を続けられるインクリメンタルなプロトコルです。イーガー(eager)リバランスでは、移動する量がどれほど少なくても、すべてのコンシューマーからすべてのパーティションを取り消します。
頻繁に起きるKafkaのリバランスを止めるにはどうすればよいですか?
どのタイマーが期限切れになっているかを突き止めます。バッチの処理に時間がかかりすぎている場合は、max.poll.recordsを下げ、max.poll.interval.msを最悪ケースより大きくします。再起動が原因なら静的メンバーシップを使います。そのうえでcooperative stickyアサイナーに移行し、残りのリバランスのコストを下げます。
静的グループメンバーシップとは何ですか?
コンシューマーごとに安定したgroup.instance.idを設定する仕組みです。これにより、コーディネーターは再起動中のメンバーを識別し、セッションタイムアウト内に戻ってくれば、リバランスなしで以前のパーティションを返すことができます。
どのパーティション割り当て戦略を使うべきですか?
ほとんどのワークロードではCooperativeStickyAssignorです。パーティションの移動とリバランスによる中断の両方を最小限に抑えられます。設定を一度に切り替えるのではなく、2回のローリングデプロイで移行してください。
パーティションを追加するとKafkaのリバランスは発生しますか?
はい。購読しているトピックのパーティション数を増やすと、グループで再割り当てが行われます。パーティションの変更は日常作業ではなく、計画的に実施する作業として扱ってください。
Kafkaのリバランスは、ブローカー間でのパーティション再割り当てと同じものですか?
違います。同じ用語が使われるため、実際によく混同されます。コンシューマーグループのリバランスは、パーティションをコンシューマーの間で再配分するものです。パーティションのレプリカをブローカーの間で移動するのはパーティション再割り当て(partition reassignment)で、使うツールもリスクも異なる、別のクラスター操作です。
Kafkaのコンシューマーグループでリバランスが繰り返し発生するのはなぜですか?
当社の経験では、原因は多い順に次のとおりです。pollで取得したバッチの処理にmax.poll.interval.msより長くかかっている、JVMのGC停止やネットワークに対してsession.timeout.msが短すぎる、オートスケーラーがコンシューマーの追加と削除をループで繰り返している、コンシューマーがgroup.instance.idなしで再起動しているためデプロイのたびに離脱と参加が発生している、あるいはグループコーディネーターが別のブローカーに移った、のいずれかです。コーディネーターブローカーのログに出る"Preparing to rebalance group"の行のreasonフィールドを見れば、どれが原因かがわかります。--stateを付けてグループをdescribeし、Stableに到達しているかどうかを確認してください。
Kafkaのリバランスによるダウンタイムを防ぐにはどうすればよいですか?
3つの設定で問題の大半は解消します。2回のローリング再起動による移行手順で、グループをCooperativeStickyAssignorに切り替え、移動するパーティションだけが一時停止するようにします。各コンシューマーに安定したgroup.instance.idを割り当て、セッションタイムアウト内の再起動ではそもそもリバランスが起きないようにします。max.poll.recordsに上限を設け、遅いバッチのせいで正常なコンシューマーが追い出されないようにします。そのうえで、根本にあるメンバーの増減を止めます。オートスケーリングを安定させ、レプリカ数をパーティション数以下に抑えてください。適切に設定されたグループでは、意図的にサイズを変えたときにしかリバランスは起きないはずです。
参考資料
ガイド・製品比較・調査レポート

