Kafka

Kafka 4.0(KRaft、ZooKeeper廃止)は本番運用に使えるか

Scott Sternloff

執筆:Scott Sternloff(シニアエンタープライズアーキテクト)

LinkedIn · 更新日:

ZooKeeperexternalL23KRaft QuorumZooKeeper → KRaft Consensus
このページの内容

Kafka 4.0は、プロジェクト史上もっとも大きなアーキテクチャの転換です。Kafkaが初期のバージョンから依存してきた外部の協調サービスであるZooKeeperがなくなりました。クラスターのメタデータとコントローラーの合意形成は、Kafka独自のRaftベースの合意プロトコルであるKRaft(Kafka Raft)によって内部で処理されるようになっています。運用モデルは確かにシンプルになり、稼働・チューニングすべき分散システムが1つ減りました。しかし、「新たにリリースされたメジャーアーキテクチャ」であることと、「自社のワークロードで実績が十分にある」ことは別の話です。

本記事では、Kafka 4.0.0で深刻な性能問題に直面した実際の本番事例をもとに、運用面で実際に何が変わったのかを解説します。

KRaftモード自体は安定しているのか、それともまだ初期段階・ベータの技術なのか

KRaftモードはKafka 4.0における標準の本番アーキテクチャであり、現時点ではベータ機能でもプレビュー機能でもありません。要求の厳しいユースケースも含め、本番環境で実際に導入が進んでいます。ある組織は、銀行業界向けのトランザクション処理プラットフォームにKafka 4.0.0を採用しましたが、その理由はまさにZooKeeperへの依存がなくなるからでした。このアーキテクチャの簡素化を、避けるべきリスクではなく、将来を見据えた意図的な技術選択と捉えたのです。

とはいえ、「アーキテクチャが本番レベルである」ことと、「すべての機能がZooKeeperベースのモデルとまったく同じように動作する」ことは別の話です。本記事を通して取り上げる実例は、まさにそのギャップを如実に示しています。

取り上げたKafka 4.0の事例では、実際に何が問題だったのか

Kafkaのトランザクションに起因する、深刻かつ特定の性能劣化です。ある組織は、Spring Boot 3.2とJava 17を使い、Kafka 4.0.0上でトランザクション処理プラットフォームを運用していました。通常のKafkaメッセージングでは、1時間あたり約320,000件のスループットを計測していました。ところが、Kafkaのトランザクショナルメッセージング機能を使ってシステムにリカバリー機能を追加したところ、スループットは1時間あたり40,000〜50,000件に低下しました。そして決定的なことに、サービスのインスタンス数を増やしても改善しませんでした。水平スケーリングに関係なく同じスループットで頭打ちになっていたことは、ボトルネックが単純なリソースの競合ではなく、構造的なもの(おそらくコーディネーター関連)であることを強く示しています。

チームが同じワークロードをKafkaのトランザクションなしで実行してみたところ、性能は通常に戻りました。これにより、性能劣化の原因は、KRaftモードやブローカーの設定、あるいはアプリケーションコード全般ではなく、トランザクショナルメッセージングの処理経路にあると特定されました。

KRaftモードではKafkaのトランザクションは壊れているということか

必ずしも壊れているわけではありません。ただし、性能が重視されるワークロードでトランザクションを採用する前には、より踏み込んだ検証が必要だということです。KRaftにおけるトランザクションコーディネーターの動作は、ZooKeeperベースのクラスターでの動作とはアーキテクチャ上異なり、その違いが特定の使い方のもとで、まさにこのようなスループットの頭打ちとして現れることがあるからです。

この事例からわかっていること:

  • スループットの頭打ちには再現性があり、一貫していた(断続的ではなかった)
  • 水平スケーリングでは改善せず、単純なリソース不足が原因である可能性は排除された
  • 同じワークロードからトランザクションを外すと、スループットは通常に戻った

診断の観点から示唆されること:トランザクションコーディネーターの動作、つまりトランザクションの状態をクラスター全体でどのように追跡し、コミットし、協調させるかが、ボトルネックの有力な候補です。観測された「トランザクションあり/なし」による動作の違いに最も直接的に関わるコンポーネントだからです。この種の問題に対する体系的な診断では、まずトランザクションコーディネーターの配置、トランザクションのタイムアウト設定、そしてtransactional.idのカーディナリティとパーティショニングを調査対象とします。

Kafka 4.0ではトランザクションの使用を完全に避けるべきか

必ずしもその必要はありません。ただし、4.0より前のドキュメントにあるKafkaトランザクションの一般的な指針がそのまま通用すると考えるのではなく、本番の重要かつレイテンシーに敏感なワークロードで採用する前に、自社のトランザクションの使い方を現実的な負荷のもとで検証してください。

ユースケースでKafkaのトランザクションが必要な場合(プロデュース/コンシュームの境界をまたぐexactly-onceセマンティクスや、複数パーティションへのアトミックな書き込み):

  • 代表的なトランザクションレートとtransactional.idのパターンを使い、トランザクションなしのスループットのベースラインとは別に、トランザクションの処理経路を個別に負荷テストする
  • 自社の環境で、プロデューサー/コンシューマーのインスタンスを水平スケーリングすると実際にトランザクションのスループットが向上するかをテストする。向上しない場合は、上記の事例で観測されたのと同じ警告サインであり、本番投入前に調査する価値がある
  • ZooKeeperの削除以降、コードベースの中でも活発に変化している領域であるため、KRaftのトランザクションコーディネーターの動作について、最新のKafka 4.xのリリースノートと既知の問題を確認する

ユースケースでトランザクションが必須でない場合は、リカバリーや冪等性の要件を、代替のパターンで満たせないかを検討してください。完全なトランザクションを使わない冪等プロデューサーの設定だけで済ませる、アプリケーション側で重複を排除する、あるいは別のリカバリーアーキテクチャを採用するといった方法で、今回観測されたボトルネックそのものを回避できる可能性があります。

自社のワークロードでKafka 4.0への対応を実際に検証できる負荷テストの方法

本記事で取り上げた実例では、JMeterを使い、1秒あたり/1分あたりの特定のトランザクションレートで、制御された安定した負荷を生成していました。これは意図的な選択です。分離や再現が難しく診断に向かない本番トラフィックのパターンに頼るのではなく、負荷を段階的に上げたときにシステムがどう反応するかを、明確かつ制御可能な形で把握できるからです。

堅実な検証の進め方:

  1. まずトランザクションなしのスループットのベースラインを確立し、明確な比較対象を用意する
  2. トランザクションを導入し、同じ負荷プロファイルのもとでスループットの差分を測定する
  3. 水平スケーリングを明示的にテストする。プロデューサー/コンシューマーのインスタンスを追加し、スループットが実際に増えることを確認する。頭打ちになる場合は、先に進む前にコーディネーターレベルのボトルネックを調査すべきというサインである
  4. ソフトローンチ中の自然なトラフィックだけに頼るのではなく、既知のトランザクションレートを安定して維持できる負荷生成ツール(JMeter、またはプロデューサー側の検証にはKafka付属のkafka-producer-perf-test.sh)を使う

プランに応じた15分からの対応目標。専任のシニアエンジニアが担当。

お問い合わせ

旧来のZooKeeperベースのクラスターを使っている組織は、どのKafkaバージョンを目指すべきか

現在KRaft以前のバージョンを使っていてアップグレードの道筋を計画しているなら、Kafka 4.0以降は設計上ZooKeeperを使わないことを押さえておいてください。Kafka 4.0の時点で、ZooKeeperのサポートは非推奨になっただけでなく削除されました。つまり、アップグレード計画には、KRaftへの移行を任意の後続ステップとしてではなく、移行経路の一部として組み込む必要があります。

Kafkaのトランザクションをあまり使わないワークロードであれば、この移行は一般に本記事の事例よりもリスクが低くなります。今回特定されたボトルネックは、KRaftクラスターの一般的な運用ではなく、トランザクションのスループットに限られていたからです。トランザクションを多用するワークロードでは、KRaft以前のトランザクション性能の特性がそのまま引き継がれると想定するのではなく、上記の検証方法を使ってトランザクションの処理経路を負荷テストする時間を、移行計画の中に明示的に確保してください。

Kafka 4.0の本番対応について、現実的な結論は

KRaftの中核アーキテクチャは本番運用に対応しており、金融取引の処理を含む要求の厳しいワークロードで積極的に採用されています。一方で、本番テストで実際に観測された再現性のあるスループットの劣化を踏まえると、Kafkaのトランザクションについては、性能が重視される本番ワークロードで採用する前に専用の負荷検証が必要です。これはKafka 4.0を避ける理由ではありません。トランザクションを含むあらゆる機能でKRaft以前のKafkaと完全に同じ動作をすると決めつけず、自社の使い方を意図的にテストすべき理由なのです。

分離コントローラーかコンバインドモードか:アップストリームの推奨とAceMQの構成

KRaftクラスターは、メタデータをZooKeeperではなく、コントローラーノードで構成されるRaftクォーラムに保持します。クォーラムは1台のアクティブコントローラーを選出し、そのコントローラーがメタデータログを管理します。メタデータログには、トピックとパーティションの定義、レプリカの割り当て、リーダー選出、設定、ACLが含まれます。すべてのブローカーはそのログに追従し、ローカルに適用します。各ノードはprocess.rolesによって自身の役割を宣言します。process.roles=controllerのノードは投票とメタデータの提供だけを行います。process.roles=brokerのノードはクライアントのトラフィックとパーティションのデータだけを扱います。process.roles=broker,controllerのノードは同じJVM上で両方を担い、これがアップストリームでいうコンバインドモードです。

このうちどれが本番に適しているかについて、アップストリームのドキュメントは明確です。本番ワークロードで推奨されるのは、専用のサーバーに分離したコントローラーを置く構成です。コンバインドモードは、開発、テスト、そしてリソースの分離が問題にならない小規模クラスター向けと位置づけられています。サポートされており動作もしますが、重要なデプロイにアップストリームが推奨する構成ではありません。AceMQの経験もこれと一致しています。

理由は障害の連鎖です。コンバインドモードでは、I/Oやガベージコレクションの負荷を受けているブローカーがコントローラーでもあるため、不調なブローカーは自分のパーティションのリーダーシップを失うだけでは済まず、クラスター全体のクォーラムの投票やメタデータのコミットを停滞させるおそれがあります。メタデータログはコミットのたびにfsyncする必要があり、コンバインドモードではそのfsyncが同じディスク、同じページキャッシュ上でパーティションログの書き込みと競合します。そのため、プロデューサーのトラフィックが急増すると、そこからの復旧を調整するはずのコンポーネントまで遅くなりかねません。ブローカーのローリング再起動はコントローラーの再起動でもあるため、日常的なブローカーのアップグレードや設定変更のたびにコントローラーの選出も発生します。ブローカーが数台でトラフィックも少なければ、いずれも大きな問題にはなりません。しかし、パーティションが数千あり、ディスクの負荷も高い環境では、ありふれたブローカーのインシデントがクラスター全体のメタデータのインシデントに発展します。役割を分離することで、ブローカーの問題をブローカーの問題のままに留められるのです。

分離したコントローラーのサイジングは簡単です。保持するのはメタデータだけで、パーティションのデータは持たないからです。ほとんどのクラスターでは3台が適切で、1台の喪失に耐えられます。非常に大規模な環境や、ゾーン障害と別ノードのメンテナンス時間帯が重なっても乗り切りたいマルチゾーン構成では、クォーラムがわずかに遅くなる代わりに5台にする価値があります。マシンは小さなもので構いません。数コアのCPU、数GBのヒープ、そしてメタデータログ用の容量は控えめでも低レイテンシーなディスクがあれば十分です。ゾーン障害でクォーラムまで失わないよう、アベイラビリティゾーンごとに1台ずつ配置します。Kubernetesでは、ブローカー用とは別に専用のコントローラー用ノードプールを用意することになります。これについてはKubernetes上のKafkaで解説しています。クォーラムの配置は、本格的なKafkaのディザスタリカバリ設計にも欠かせない要素です。コントローラーのクォーラムを失ったクラスターは、すべてのブローカーが正常であってもパーティションリーダーを選出できないからです。

既存のZooKeeperクラスターの移行は、決まった順序で進めます。まず、zookeeper.metadata.migration.enable=trueとZooKeeperの接続文字列を設定した新しいコントローラークォーラムを立ち上げ、コントローラーが既存のメタデータを読み取れるようにします。次に、移行フラグとコントローラークォーラムのボーターを設定したうえでブローカーを1台ずつ再起動します。これによりクラスターはデュアルライトモードに移行し、メタデータがZooKeeperとKRaftログの両方に書き込まれます。すべてのブローカーのローリング再起動が終わり、メタデータの検証が済んだら、コントローラーから移行フラグとZooKeeperの設定を削除して再起動し、移行を確定させます。確定するまではZooKeeperにロールバックできますが、確定後はできません。Kafka 4.0ではZooKeeperモードが完全に削除されたため、この手順全体はブリッジリリースである3.9上で実行する必要があります。3.9にアップグレードし、移行し、確定させてから、初めて4.xへ移行します。

重要なワークロードに対するAceMQのルールはシンプルです。コントローラーは分離し、3台構成で、ゾーンごとに1台ずつ、他の用途とは別のディスクに置きます。コンバインドモードは、ブローカーがごく少数のクラスターに限り、理由を文書化したうえで使います。大規模にコンバインドモードで運用されているクラスターを引き継いだ場合、パーティション戦略やキャパシティよりも先に、まず役割の分離に着手するのが通例です。自社環境でこのレビューを実施したい場合は、AceMQのKafkaコンサルティングチームが範囲を定めます。その後はKafkaサポートが、24/7の対応体制とプランに応じた15分からの対応目標でクラスターをカバーします。

Kafka 4.0への移行をサポートします

Kafka 4.0への移行をお考えですか?あるいは、KRaftベースのクラスターでKafkaのトランザクションを使った際に、原因不明のスループットの頭打ちが発生していませんか?診断のご依頼はAceMQにお問い合わせください。何から始めればよいかわからない場合は、AceMQのエンジニアにご相談ください。

本記事は、Kafka運用ガイドの全10ステップのうち1番目です。このガイドでは、本番環境で運用上の判断が求められる順に解説しています。

よくある質問

本番環境のKafkaでは、KRaftコントローラーを分離して運用することが推奨されていますか?

はい。Kafkaのアップストリームのドキュメントは、本番ワークロードではコントローラーを専用サーバーで稼働させることを推奨しており、1つのノードがブローカーとコントローラーを兼ねるコンバインドモードは、開発、テスト、そしてリソースの分離が問題にならない小規模クラスター向けと位置づけています。コンバインドモードもサポートされており動作しますが、I/OやGCの負荷を受けているブローカーがそのままコントローラーでもあり、ブローカーの再起動がコントローラーの再起動にもなります。AceMQでは、重要なワークロードには必ず専用のノードとディスクに分離したコントローラーをデプロイし、コンバインドモードはごく小規模なクラスターに限り、理由を文書化したうえでの例外として扱っています。

本番クラスターにはKRaftコントローラーを何台置けばよいですか?

ほとんどのクラスターでは3台、非常に大規模な環境やマルチゾーン構成では5台です。3ノードのクォーラムはコントローラー1台の喪失に耐え、5ノードなら2台まで耐えられます。これは、別のコントローラーをメンテナンスで停止している間にゾーン障害が起きても乗り切りたい場合に効いてきます。コントローラーが保持するのはメタデータだけなので、数コアのCPU、数GBのヒープ、低レイテンシーのディスクを備えた小さなノードで十分です。アベイラビリティゾーンごとに1台ずつ配置し、メタデータログは専用のディスクに置き、Kubernetesでは専用のノードプールで稼働させます。台数を偶数にしないこと、そしてコントローラーをブローカーのキャパシティとして数えないことが重要です。

Kafka 4.0のKRaftモードは本番運用に耐えられるほど安定していますか?

はい。KRaftはKafka 4.0における標準の本番アーキテクチャであり、ベータ機能ではありません。銀行業界のトランザクション処理をはじめとする要求の厳しいワークロードでも、まさにZooKeeperへの依存がなくなるという理由で、実際に導入が進んでいます。

本記事で取り上げているKafka 4.0の本番事例では、実際に何が問題だったのですか?

Kafka 4.0.0上のトランザクション処理プラットフォームで、リカバリー機能のためにKafkaのトランザクショナルメッセージングを追加したところ、スループットが1時間あたり約320,000件から40,000〜50,000件に低下しました。サービスのインスタンスを増やしてもスループットは改善せず、トランザクションを外すと通常の性能に戻ったことから、性能劣化の原因はトランザクションの処理経路に特定されました。

KRaftモードではKafkaのトランザクションは壊れているのですか?

必ずしも壊れているわけではありませんが、より踏み込んだ検証が必要です。KRaftにおけるトランザクションコーディネーターの動作は、ZooKeeperベースのクラスターとはアーキテクチャ上異なるからです。観測されたスループットの頭打ちは再現性があり、水平スケーリングでは改善せず、トランザクションを外すと消えました。このことから、ボトルネックはトランザクションコーディネーターの動作である可能性が高いと考えられます。

Kafka 4.0ではトランザクションの使用を完全に避けるべきですか?

必ずしもその必要はありませんが、本番の重要なワークロードで採用する前に、自社のトランザクションの使い方を現実的な負荷のもとで検証してください。トランザクションが必須でないなら、冪等プロデューサーの設定やアプリケーション側での重複排除といった代替手段を検討しましょう。このボトルネック自体を回避できる可能性があります。

本番投入前に、Kafka 4.0の負荷テストはどのように行えばよいですか?

まずトランザクションなしのスループットのベースラインを確立し、次に同じ負荷プロファイルでトランザクションを導入して差分を測定します。水平スケーリングも明示的にテストしてください。スループットが増えずに頭打ちになる場合は、コーディネーターレベルのボトルネックを調査します。安定した制御可能な負荷を生成するには、JMeterでもKafka付属のkafka-producer-perf-test.shでも十分に機能します。

まだZooKeeperベースのクラスターを使っている場合、どのKafkaバージョンを目指すべきですか?

Kafka 4.0以降は設計上ZooKeeperを使いません。4.0の時点でZooKeeperのサポートは非推奨ではなく削除されたため、アップグレード計画にはKRaftへの移行を任意ではなく必須のステップとして組み込む必要があります。トランザクションを多用するワークロードでは、その移行の一部として、トランザクションの処理経路を負荷テストする時間をあらかじめ確保しておくべきです。

結局、Kafka 4.0は本番運用に使えるのですか?

KRaftの中核アーキテクチャは本番運用に対応しており、金融取引の処理を含む要求の厳しいワークロードで実際に使われています。ただし、実際に再現性のあるスループットの劣化が確認されていることから、性能が重視される本番用途でKafkaのトランザクションを採用する前には、専用の負荷検証を行う必要があります。

無料相談

お客様のKafka クラスターを専門家がチェックします

本番環境のインシデント対応、移行の計画、アーキテクチャのセカンドオピニオンなど、どのようなご相談にもAceMQのチームが対応します。売り込みは一切なく、ご質問に的確にお答えします。

メールで問い合わせる