導入事例の一覧に戻る

サポートソフトウェア・デジタルプラットフォーム

ノードを増やしても解決しなかった

欧州のホスティング事業者

60,000社の顧客にサービスを提供する5ノードのKafkaクラスターで、負荷がかかるとプロデューサーがタイムアウトしていました。原因はキャパシティではなく、トポロジーにありました。

概要

約2,000台のサーバーで60,000社の顧客にサービスを提供するあるホスティング事業者は、需要の増加に合わせてKafkaを1ノードから5ノードへ拡張していましたが、それでもプロデューサーのタイムアウトが頻発していました。キャパシティを増やすという直感的な対策は、すでに試された後でした。

課題

クラスターは5ノードでレプリケーションファクター4を採用し、ブローカーとコントローラーを同じノードに同居させていました。そのため、コントローラーリーダーがレプリケーションの役割に加えて異常に多くのアクティブなコネクションを抱えることになり、タイムアウトを引き起こしていたのは単純なスループットではなく、このコネクションの集中でした。その後に再選出やトピックの移動が続きましたが、それらは同じ原因から来る症状ではなく、不安定さとして受け取られていました。

環境

物理サーバー上にDockerでデプロイされた5ノードのKafkaクラスター。大規模な共有ホスティング基盤を支える。

アプローチ

AceMQは、症状を回避するためのチューニングではなく、レプリケーションとトポロジーの選択がワークロードの実際の要件に合っているかを見直しました。推奨事項は順を追って適用し、各ステップをクラスターの安定性メトリクスで検証してから次に進めるようにしました。

ソリューション

  1. レプリケーションファクターを4から3に下げ、すべてのパーティションを過剰に複製することなく耐久性要件を満たす構成に
  2. ブローカーとコントローラーの役割を分離し、コントローラーの処理がトラフィックの処理と競合しないように
  3. 変更の間も可用性の保証を維持するため、ブローカーノードを最低3台確保
  4. コネクションが集中する状況での応答性を高めるため、スレッド設定をチューニング
  5. 各ステップを検証する際に注視すべきメトリクスとして、再選出の頻度とトピックの移動を設定

結果

プロデューサーのタイムアウトは、キャパシティの追加でごまかすのではなく、根本原因から解消されました。また、チームは再発を早期に検知するための明確なシグナルを手にしました。

使用テクノロジー

Apache KafkaDockerLinux

Apache Kafkaの専門家によるサポートが必要ですか?

AceMQのシニアApache Kafkaエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。