概要
ある小売向け分析サービスプロバイダーは、Druidをバックエンドとするダッシュボードを自社の顧客に公開していたため、クエリレイテンシーは社内の懸念事項ではなく、製品の特性そのものでした。ブローカーのタイムアウトは予測できないタイミングで発生し、チームが再現を試みてもうまくいきませんでした。AceMQは、専任のシニアエンジニアと直接のエスカレーション経路を用意してサポートを引き継ぎました。
課題
Druidのクエリレイテンシーは、クエリが何個のセグメントに触れるか、それらのセグメントのサイズが適切か、結果がキャッシュから返されるか、そしてHistoricalの処理スレッドが競合していないかによって決まります。タイムアウトは、セグメントが多すぎ、かつ小さすぎるデータソースと相関しており、実際の処理よりもセグメントごとのオーバーヘッドが大半を占めていました。さらに、最も流量の多いクエリパターンでは、キャッシュの設定が自らその効果を打ち消していました。
環境
公表したレイテンシーの目標を持つ顧客向け分析ダッシュボードを提供している、AWS上のApache Druid。
アプローチ
AceMQは、クエリごとのセグメント数とスキャン時間を計測し、本当に重いクエリと、断片化したセグメントのせいでオーバーヘッドを払っているクエリを切り分けました。そのうえで、タイムアウトへの運用上の対応と、そもそもタイムアウトを生み出さないための構造的な改善の両方をサポートの範囲としました。
ソリューション
- クエリごとのセグメント数とスキャン時間を計測し、実際の処理とセグメントごとのオーバーヘッドを切り分け
- セグメントが断片化したデータソースを特定し、コンパクションをスケジュールして目標のサイズ範囲に収めるように改善
- Historicalの処理スレッド数とバッファーサイズを、基盤のインスタンスタイプに合わせて再チューニング
- 高流量のパターンで効果を打ち消し合っていた、BrokerとHistoricalのキャッシュ設定を修正
- 重いアドホッククエリがダッシュボードを圧迫しないよう、クエリのタイムアウト、優先度、レーニングのポリシーを策定
- ティア1での一次切り分けを挟まずに、シニアDruidエンジニアへ24/7でエスカレーションできる体制を提供
結果
セグメントの断片化を解消したことで、ブローカーのタイムアウトはまれになり、ダッシュボードのp99レイテンシーはおよそ半分になりました。クエリのレーニングによって、重いアドホック分析が営業時間中に実行されても、顧客向けの処理経路には影響が及ばなくなっています。