概要
約2,000台のサーバーで60,000社の顧客にサービスを提供するあるホスティング事業者は、需要の増加に合わせてKafkaを1ノードから5ノードへ拡張していましたが、それでもプロデューサーのタイムアウトが頻発していました。キャパシティを増やすという直感的な対策は、すでに試された後でした。
課題
クラスターは5ノードでレプリケーションファクター4を採用し、ブローカーとコントローラーを同じノードに同居させていました。そのため、コントローラーリーダーがレプリケーションの役割に加えて異常に多くのアクティブなコネクションを抱えることになり、タイムアウトを引き起こしていたのは単純なスループットではなく、このコネクションの集中でした。その後に再選出やトピックの移動が続きましたが、それらは同じ原因から来る症状ではなく、不安定さとして受け取られていました。
環境
物理サーバー上にDockerでデプロイされた5ノードのKafkaクラスター。大規模な共有ホスティング基盤を支える。
アプローチ
AceMQは、症状を回避するためのチューニングではなく、レプリケーションとトポロジーの選択がワークロードの実際の要件に合っているかを見直しました。推奨事項は順を追って適用し、各ステップをクラスターの安定性メトリクスで検証してから次に進めるようにしました。
ソリューション
- レプリケーションファクターを4から3に下げ、すべてのパーティションを過剰に複製することなく耐久性要件を満たす構成に
- ブローカーとコントローラーの役割を分離し、コントローラーの処理がトラフィックの処理と競合しないように
- 変更の間も可用性の保証を維持するため、ブローカーノードを最低3台確保
- コネクションが集中する状況での応答性を高めるため、スレッド設定をチューニング
- 各ステップを検証する際に注視すべきメトリクスとして、再選出の頻度とトピックの移動を設定
結果
プロデューサーのタイムアウトは、キャパシティの追加でごまかすのではなく、根本原因から解消されました。また、チームは再発を早期に検知するための明確なシグナルを手にしました。