概要
銀行のお客様にサービスを提供するトランザクション処理プラットフォームでKafkaを有効にしたところ、スループットがおよそ7分の1に落ち込みました。サービスのインスタンスを追加しても効果はなく、稼働数にかかわらず性能は横ばいのままでした。これはキャパシティの限界ではなく、ボトルネックがあることを示す典型的な兆候です。検証の期限が迫っており、1週間以内に1時間あたり80,000件のトランザクションを処理できることを示さなければなりませんでした。
課題
並列度を上げても性能が横ばいであることは、原因がハードウェアではなく設定にあることを示していました。環境はKRaftモードのKafka 4.0で稼働しており、ZooKeeperへの依存はなくなった一方で、多くのチームが身につけてきたガイダンスとはチューニングすべき箇所が変わっていました。また、金融系のワークロードであるため、どのような変更を加えてもフェイルオーバー時の復旧能力は維持しなければなりませんでした。
環境
銀行のお客様向けトランザクション処理プラットフォームを支える、KRaftモードのKafka 4.0。負荷検証にはJMeterを使用しています。
アプローチ
インスタンスを追加しても効果が出ない理由の特定に注力し、各変更を再現可能なJMeterの負荷プロファイルで検証することで、改善を推測ではなく計測で確かめました。フェイルオーバーの挙動は後回しにせず、チューニングの前提となる制約として扱いました。
ソリューション
- すべての設定変更を同じベースラインで計測できるよう、JMeterで再現可能な負荷プロファイルを確立
- サービスのインスタンスを増やしてもスループットが一定のままである理由を調査し、処理が直列化している箇所を特定
- 汎用的なスループットではなく、このトランザクションのパターンに合わせてプロデューサーとブローカーの設定をチューニング
- スピードと引き換えに耐障害性を損なわないよう、負荷をかけた状態でフェイルオーバー時の復旧を検証
- KRaft固有の設定を、ZooKeeper時代の環境向けに書かれたガイダンスと照らし合わせて見直し
結果
プラットフォームは、フェイルオーバー時の復旧能力を維持したまま、計測に裏付けられた形でスループット目標に近づく道筋を得ました。今後の変更に対しても繰り返し実行できる負荷テストのプロファイルも手にしています。