概要
RedpandaはパーティションごとにRaftグループを持つため、レイテンシーはパーティションリーダーシップの分布に大きく左右されます。リーダーが一部のブローカーに集中すると、そのノードが飽和する一方でクラスターの残りは遊んでいる状態になり、平均レイテンシーに兆候が表れるよりずっと前にテールレイテンシーが悪化します。AceMQは原因を診断し、リバランスを行います。
課題
レイテンシースパイクは、ローリングリスタートやノードの交換、あるいはパーティション数の自然な増加の後に発生します。リーダーシップの分布が偏り、一部のブローカーに書き込み負荷が不釣り合いに集中するのです。その裏では、ストレージクラスがクラスターの想定した持続的な書き込みスループットを出せていない、KubernetesのCPU制限がリアクタースレッドをスロットリングしている、あるいはトピックのパーティション数が少なすぎてリーダーシップに関係なく負荷を分散できない、といった原因が潜んでいる場合があります。いずれの場合も、表に出る症状は同じです。
環境
ローカルNVMeまたはネットワーク接続ストレージを備えたKubernetesまたはクラウドインスタンス上のRedpandaクラスター。レイテンシーに敏感なプロデューサーにサービスを提供。
アプローチ
AceMQは、ブローカーごとのリーダー数、ディスクの書き込みレイテンシー、CPUスロットリングのメトリクスをレイテンシーのパーセンタイルと突き合わせ、実際に飽和しているのがどのレイヤーかを特定します。まずリーダーシップのリバランスとパーティション割り当ての修正を行い、そのうえでハードウェアが本当にボトルネックになっている箇所について、ストレージクラスとリソース制限に対処します。
ソリューション
- ブローカーごとのRaftリーダー数とパーティション分布を分析し、プロデュースレイテンシーのパーセンタイルと相関
- リーダーシップのリバランスとパーティションの再割り当てにより、書き込み負荷をクラスター全体に均等に分散
- 実際にプロビジョニングされたストレージクラスに対して、ディスクの書き込みレイテンシーと持続スループットを検証
- KubernetesのCPU制限とリアクタースレッドを見直し、seastarのシャードスレッドのスロットリングを解消
- リーダーシップの配置に関係なく、スループットに対して並列度が不足しているトピックのパーティション数を見直し
- プロデューサーのバッチ、linger、ACKの設定を、デフォルト値ではなく耐久性要件に基づいてチューニング
結果
リーダーシップのリバランスを一度きりの修正ではなく運用プラクティスとして定着させたため、テールレイテンシーは許容範囲に戻り、ローリングリスタートを経てもその水準を維持しています。ストレージが本当のボトルネックだった箇所については、実測したスループットに基づくサイジングを提案しています。