概要
あるマルチテナントの分析ベンダーでは、顧客向けダッシュボードの更新中に長いstop-the-worldのガベージコレクション停止が発生し、ノードが次々と脱落していました。AceMQは、プランに応じた15分からの対応目標と、クラスターのトポロジーをすでに把握している専任のシニアエンジニアによって、継続的なサポートを提供しています。
課題
親サーキットブレーカーの例外は、たまたまその時点でクエリを実行していたテナントの検索失敗として表面化していたため、問題はランダムに起きているように見えていました。カーディナリティの高いフィールドに対する深いterms集計や、バケット数に上限のないdate histogramが大量のフィールドデータをヒープに読み込んでおり、少数の過大なクエリがノードをブレーカーのしきい値を超えさせていました。その結果、マスターがノードをクラスターから切り離すほど長いGC停止が発生していたのです。
環境
3つのアベイラビリティゾーンにまたがるKubernetes上のElasticsearch。テナントごとに異なるクエリ負荷が混在し、ダッシュボードは短い間隔で更新されています。
アプローチ
サポートでは、事後のポストモーテムの要約ではなく、発生中のインシデントでのホットスレッドとGCログの分析から着手します。ブレーカーの作動をスローログと突き合わせて原因となっている具体的なクエリの形を特定し、ブレーカーの上限を単に引き上げるのではなく、お客様のエンジニアと協力してAPI層でそれらに上限を設けます。
ソリューション
- プランに応じた15分からの対応目標による24/7のインシデント対応。お客様とシニアエンジニアの間にティア1での一次切り分けはありません
- ホットスレッド、GCログ、ノード統計を、事後に再構成するのではなく、ブレーカーの作動中に取得して分析
- ヒープ増加を実際に引き起こしている集計の形を浮かび上がらせるための、検索スローログのチューニング
- terms集計のサイズ制限、search.max_bucketsの上限設定、深いページングでのcomposite集計の活用に関するガイダンス
- フィールドデータとクエリキャッシュのサイズを、デフォルトではなく実際のワークロードに照らして見直し
- ローリング再起動とノード交換の手順を、メンテナンス時間帯にお客様とともに検証
結果
ブレーカーに起因する検索失敗は以前のごく一部にまで減り、ダッシュボードの利用がピークとなる時間帯にもクラスターからノードが脱落しなくなりました。障害の兆候がどのようなものかを理解したことで、問題のあるクエリの大半は、今ではお客様のエンジニア自身がレビューの段階で見つけています。