概要
ある広告エクスチェンジは、ほぼリアルタイムの入札分析をDruidに頼っていました。トラフィックのピーク時にはKafkaスーパーバイザーの遅延が数秒から数時間にまで拡大し、トレーダーが頼りにしているダッシュボードは、まさに必要なときに古いデータを表示していました。AceMQは緊急対応SLAのもとで対応を開始しました。
課題
遅延には、互いに悪化させ合う複数の原因がありました。インジェストタスクの実行時間が長く、待機中のタスクが必要とするスロットを占有し続けていたため、Middle Managerのタスクスロットが枯渇していました。そうしたタスクが生成するセグメントは肥大化しており、ディープストレージへのハンドオフとHistoricalへのロードにも時間がかかっていました。さらに、失敗したタスクは同じ飽和したスロットプールに再投入されていました。
環境
リアルタイム分析のため、Kafkaから入札とインプレッションのストリームを取り込んでいるKubernetes上のApache Druid。
アプローチ
AceMQは、スーパーバイザー単体をチューニングするのではなく、スーパーバイザー、タスクの割り当て、セグメントのパブリッシュ、ハンドオフ、Historicalへのロードというインジェストパイプラインを端から端まで追跡し、実際にどこで時間がかかっているのかを突き止めました。片方だけを直してもキューの場所が移るだけなので、キャパシティとタスクの形は同時に修正しました。
ソリューション
- スーパーバイザーからハンドオフ、Historicalへのロードまでインジェスト経路全体を追跡し、本当の遅延箇所を特定
- 実際の同時タスク需要に合わせて、Middle Managerのワーカーキャパシティとタスクスロットの割り当てを再調整
- タスクが予測可能な周期でスロットを解放するよう、タスクの実行時間とセグメントの粒度を調整
- ハンドオフとHistoricalへのロードがインジェストの時間枠内に完了するよう、セグメントサイズを修正
- ストリーミングインジェストのキャパシティを、バッチおよびコンパクションのタスクキャパシティから分離し、リソースの奪い合いを解消
- スーパーバイザーの遅延、タスクスロットの使用率、ハンドオフの所要時間を、それぞれ個別にアラートできるシグナルとして計測
結果
インジェストの遅延は数秒の範囲に戻り、トラフィックのピーク時もその水準を維持しています。トレーディング用のダッシュボードは、実際に使われる時間帯に最新のデータを表示するようになりました。