Kafka

Kafkaのプロデューサータイムアウトは実際に何が原因で起き、どう直せばよいのか

Scott Sternloff

執筆:Scott Sternloff(シニアエンタープライズアーキテクト)

LinkedIn · 更新日:

PRODUCERproducer-1CONTROLLERleaderBROKER 2BROKER 3TIMEOUTController/Broker Contention
このページの内容

org.apache.kafka.common.errors.TimeoutException: Expiring N record(s)は、Kafkaの本番環境で最もよく見られるエラーの1つであり、最も誤診されやすいエラーの1つでもあります。実際の原因はブローカー側、具体的にはクラスターのコントローラーとブローカーの役割の配置にあるにもかかわらず、チームはプロデューサー側の設定変更(request.timeout.msを引き上げる、retriesを増やすなど)に手を伸ばしがちです。

本記事では、プロデューサータイムアウトが頻発していた5ノードの物理Kafkaクラスターという実際の診断事例を取り上げ、特定された根本原因と、適用した具体的な対処法を順に解説します。

Kafkaのプロデューサータイムアウトで、実際に最も多い原因は何か

同じノード上でのコントローラーとブローカーの役割の競合です。

KRaftモード(ZooKeeper廃止後のKafkaのアーキテクチャ)のクラスターでは、各ノードをブローカーとコントローラーを兼ねるコンバインド構成で稼働させることも、これらの役割を専用ノードに分離することもできます。すべてのノードが両方の役割を担う構成は、小規模なクラスターや場当たり的に拡張してきたクラスターでよく見られますが、この場合、コントローラーとブローカーのプロセスがすべてのノードで常に同じCPUとメモリを奪い合うことになります。

実際の事例では、全ノードをブローカーとコントローラーのコンバインド構成にした5ノードのKafkaクラスターでプロデューサータイムアウトが発生していました。調べると、コントローラーリーダーとして動作していたノードのアクティブな接続数が過剰で、それがブローカーレベルの競合を引き起こしていました。AceMQのKafka SMEは、次のように端的に診断しています。「今の構成では、おっしゃるとおりコントローラーとブローカーが同じ物理マシンに載っているので、メモリとCPUを常に奪い合っていて、ログ書き込みにレイテンシーが生じています。互いに更新し合おうとして競合するので、扱うべきメタデータにも問題が出ます。役割を分けてください。」

レプリケーションファクターが問題の一因になっているかどうかは、どう判断するか

レプリケーションファクターが、クラスターの規模と実際の耐久性要件に見合っているかを確認してください。過剰なレプリケーションは、測定可能な実際のオーバーヘッドを生みます。

同じ診断事例では、5ノードの物理クラスターでレプリケーションファクター4を使っていました。率直な評価は次のとおりです。「5ノードの物理クラスターでレプリケーションファクター4は過剰です。冗長性は高いのですが、その代償は大きく、とくに5ノードへのトピックの分散を考えるとなおさらです。このボリュームサイズなら、間違いなく3に下げます。」

レプリケーションファクターがとくにプロデューサータイムアウトに影響する理由:プロデュースされたメッセージは、必要な数のISR(同期レプリカ)から確認応答を得てからでないと、プロデューサーに完了が通知されません(必要な数はacksとmin.insync.replicasの設定で決まります)。レプリケーションファクターが高いほど、完了が返るまでに書き込みと確認応答を行うレプリカが増えます。さらに、そのレプリカへの書き込みが同じノード上でコントローラーの役割によるCPU/メモリの競合とぶつかると、両者が重なってプロデューサーから見えるタイムアウトへと悪化します。

目安:本番環境のKafkaでは、レプリケーションファクター3が耐久性の標準的な基準です。4以上にするのは、実証された耐久性要件に基づく意図的な判断であるべきで、デフォルトにすべきではありません。

Kafkaのコントローラーはブローカーと分離すべきか

はい。コンバインド構成で運用していて、プロデューサー側でレイテンシーやタイムアウトの問題が起きているなら、これは最も効果の大きいアーキテクチャ変更の1つです。

同じ診断事例での具体的な推奨は次のとおりでした。「本番環境なので、まずはコントローラーをもう1台追加して別に置き、ブローカー側は少なくとも3ノードを維持するのがよいでしょう。」これはクラスター全体の再構築を必要とするものではありません。専用のコントローラーノードを追加し、既存のノードをブローカー専用に再構成することで、クラスター内のすべてのノードでCPU/メモリの競合を減らすということです。

実践的な移行手順:

  1. 新しいノードを用意する(または既存のノードを転用する)ことで、専用のコントローラーにする
  2. 残りのノードをブローカー専用の役割に再構成する
  3. 本番の耐久性のために、ブローカーノードを最低3台維持する
  4. 移行の完了を宣言する前に、クラスターの健全性と再選出の挙動を検証する

プロデューサータイムアウトを減らす設定変更は、ほかに何があるか

同じ実際の対処では、さらに2つのチューニングを行いました。

KafkaのI/Oスレッドの設定を増やす。具体的な推奨は、現在のスレッドの設定(num.io.threads、またはそれに相当するネットワーク/I/Oスレッドの設定)を2倍にすることでした。アーキテクチャを変更することなく、負荷時のスループットのボトルネックに直接対処できます。

リーダーの再選出とパーティションの再割り当ての頻度を監視する。コントローラーの再選出が頻発したり、計画外のリーダーシップの移動が起きたりすると、クラスターが再編成されている間、プロデューサーのトラフィックが停滞します。診断では次のように説明しています。「この2つを見てください。不安定さや挙動、そして再選出を繰り返していないか、常に何かを移動させていないかがよくわかります。移動が起きるとすべてが止まり、それらのトピックが遅くなるからです。」リーダー選出のレートとパーティションの再割り当ての頻度を、インシデントの最中だけでなく継続的なメトリクスとして監視すれば、同じ競合パターンの再発を早期に察知できます。

では、プロデューサータイムアウトがプロデューサーの設定の問題であることはないのか

そうではありません。プロデューサー側の設定が根本原因であることも十分にあり得るため、早い段階で可能性を確認するか排除しておく価値があります。

  • request.timeout.msが、実際のネットワークやブローカーの応答特性に対して低すぎる値に設定されている
  • max.in.flight.requests.per.connectionとリトライの組み合わせによってメッセージの順序が入れ替わり、それが重なってタイムアウトのように見える
  • batch.sizeとlinger.msがスループットのパターンに合っておらず、プロデューサーが想定より長くメッセージを保持してから送信している
  • プロデューサー側のバッファメモリ(buffer.memory)が不足してBufferExhaustedExceptionが発生し、それがタイムアウトと誤認されている

ここで重要な診断の原則は、まずブローカー側の健全性と、コントローラー/ブローカーの分離を確認することです。実際の環境ではそちらが根本原因であることのほうが多いため、実際のボトルネックではないかもしれないプロデューサークライアントの設定のチューニングに時間をかけるのは、その後にしてください。

プランに応じた15分からの対応目標。専任のシニアエンジニアが担当。

お問い合わせ

SSL/TLSの変更がタイムアウトの原因になっている可能性は

アップグレードの途中である、あるいは最近TLSの設定を変更してからタイムアウトが出始めたという場合、TLSが無関係だと決めつけないでください。ただし、コントローラー/ブローカーの競合が未解決のままなら、それが主な原因だとも決めつけないでください。

同じ事例では、クライアントが最近SSL証明書の変更を試みて失敗し、ロールバックが必要になっていました。それとは別に、プロデューサータイムアウトも報告されていました。対応の順序については明確な指針が示されました。まずレプリケーションファクターとコントローラー/ブローカーの分離に対処する、というものです。「今はSSLには手を付けないでください。まずレプリケーションを3に下げ、ブローカーを追加して役割を分離し、それから性能を確認しましょう。TLS/SSLの対応は、Kafka 4に移行するまでは試みないほうがよいと思います。」すでに負荷がかかっているクラスターに証明書のローテーションのような変更を重ねる前に、クラスターの中核となるアーキテクチャを安定させてください。

自社で直すべきか、それとも専門家のレビューが必要か

ここで取り上げた診断のパターン、つまりレプリケーションファクター、コントローラー/ブローカーのトポロジー、スレッドの設定、再選出の頻度は、Kafkaの運用経験が豊富なチームであれば対応できる範囲です。しかし、この事例が専門家のレビューにエスカレーションされた理由はよくあるものでした。さまざまなKafkaトポロジーにわたるクラスターレベルの診断経験がないと、症状(プロデューサータイムアウト)から原因(コントローラー/ブローカーの競合)は容易には見えてこないのです。

プロデューサータイムアウトが発生していて、明らかなネットワークの問題はすでに排除できているなら、根本原因への最短ルートは、たいていクラスターの役割のトポロジー、レプリケーションの設定、再選出のメトリクスを体系的にレビューすることです。プロデューサークライアントの設定をパラメーター1つずつ少しずつチューニングすることではありません。

Kafkaのプロデューサータイムアウトの解決をサポートします

本番環境でKafkaのプロデューサータイムアウトが発生していませんか?クラスターアーキテクチャのレビューはAceMQにお問い合わせください。原因がコントローラーの競合なのか、レプリケーションのオーバーヘッドなのか、それともまったく別の何かなのかを特定します。何から始めればよいかわからない場合は、AceMQのエンジニアにご相談ください。

本記事は、Kafka運用ガイドの全10ステップのうち5番目です。このガイドでは、本番環境で運用上の判断が求められる順に解説しています。

よくある質問

Kafkaのプロデューサータイムアウトで、実際に最も多い原因は何ですか?

同じ物理ノード上でのコントローラーとブローカーの役割の競合です。ブローカーとコントローラーを兼ねるコンバインド構成のKRaftモードのクラスターでは、コントローラーリーダーのノードに過剰な接続が集中し、ブローカープロセスとCPUやメモリを奪い合うことがあります。その結果生じるレイテンシーは、明白なブローカーのエラーとしてではなく、プロデューサー側のタイムアウトとして表面化します。

レプリケーションファクターがプロデューサータイムアウトの一因になっているかどうかは、どう判断すればよいですか?

レプリケーションファクターがクラスターの規模に見合っているかを確認してください。5ノードのクラスターでファクター4は冗長性が過剰で、実際にオーバーヘッドが増えます。プロデュースされたメッセージは、必要な数のISR(同期レプリカ)から確認応答を得てからでないとプロデューサーに完了が通知されません。そのため、高いレプリケーションファクターとコントローラーの競合が重なると、タイムアウトへと悪化します。本番環境の標準的な基準はレプリケーションファクター3です。

Kafkaのコントローラーはブローカーと分離すべきですか?

はい。コントローラーとブローカーを兼ねるコンバインド構成で運用していて、プロデューサー側でレイテンシーやタイムアウトが発生しているなら、分離は最も効果の大きい対策の1つです。専用のコントローラーノードを用意し、既存のノードをブローカー専用に再構成し、本番の耐久性のためにブローカーノードを最低3台維持してください。

Kafkaのプロデューサータイムアウトを減らすのに役立つ設定変更は、ほかに何がありますか?

現在のI/Oスレッドの設定(num.io.threadsまたはそれに相当する設定)を2倍にすると、スループットのボトルネックに直接対処できます。それとは別に、リーダーの再選出の頻度とパーティションの再割り当ての頻度を継続的なメトリクスとして監視してください。再選出が頻発すると、クラスターが再編成されるたびにプロデューサーのトラフィックが停滞します。

Kafkaのプロデューサータイムアウトが、実際にプロデューサーの設定の問題であることはありますか?

あります。request.timeout.msが低すぎる、max.in.flight.requests.per.connectionとリトライの組み合わせ、batch.size/linger.msの設定ミス、buffer.memoryの不足は、いずれもタイムアウトの原因になったり、タイムアウトのように見えたりします。ただし、実際の環境ではブローカー側に根本原因があることのほうが多いため、まずブローカー側の健全性と、コントローラー/ブローカーの分離を確認してください。

最近のSSL/TLSの変更が、Kafkaのプロデューサータイムアウトの原因になっている可能性はありますか?

可能性はありますが、コントローラー/ブローカーの競合や過剰なレプリケーションファクターが未解決のままなら、それが主な原因だと決めつけないでください。すでに負荷がかかっているクラスターにTLS/SSLの変更を重ねる前に、レプリケーションファクターと役割の分離という、クラスターの中核となるアーキテクチャを安定させましょう。

Kafkaのプロデューサータイムアウトは自社でトラブルシューティングすべきですか、それとも専門家のレビューを受けるべきですか?

レプリケーションファクター、コントローラー/ブローカーのトポロジー、スレッドの設定、再選出の頻度は、Kafkaの運用経験が豊富なチームであれば対応できる範囲です。専門家のレビューが役立つのは、さまざまなクラスタートポロジーにわたる診断経験がないと、症状(プロデューサータイムアウト)から原因(コントローラーの競合)にたどり着くのが難しいからです。

無料相談

お客様のKafka クラスターを専門家がチェックします

本番環境のインシデント対応、移行の計画、アーキテクチャのセカンドオピニオンなど、どのようなご相談にもAceMQのチームが対応します。売り込みは一切なく、ご質問に的確にお答えします。

メールで問い合わせる