導入事例の一覧に戻る

是正対応ソフトウェア・デジタルプラットフォーム

リアルタイムインジェストを、許容されるレイテンシーの範囲内に戻す

デジタル広告エクスチェンジ

タスクスロットの枯渇、肥大化したインジェストタスク、ディープストレージへのハンドオフ失敗によって生じていたKafkaスーパーバイザーの遅延を解消しました。

概要

ある広告エクスチェンジは、ほぼリアルタイムの入札分析をDruidに頼っていました。トラフィックのピーク時にはKafkaスーパーバイザーの遅延が数秒から数時間にまで拡大し、トレーダーが頼りにしているダッシュボードは、まさに必要なときに古いデータを表示していました。AceMQは緊急対応SLAのもとで対応を開始しました。

課題

遅延には、互いに悪化させ合う複数の原因がありました。インジェストタスクの実行時間が長く、待機中のタスクが必要とするスロットを占有し続けていたため、Middle Managerのタスクスロットが枯渇していました。そうしたタスクが生成するセグメントは肥大化しており、ディープストレージへのハンドオフとHistoricalへのロードにも時間がかかっていました。さらに、失敗したタスクは同じ飽和したスロットプールに再投入されていました。

環境

リアルタイム分析のため、Kafkaから入札とインプレッションのストリームを取り込んでいるKubernetes上のApache Druid。

アプローチ

AceMQは、スーパーバイザー単体をチューニングするのではなく、スーパーバイザー、タスクの割り当て、セグメントのパブリッシュ、ハンドオフ、Historicalへのロードというインジェストパイプラインを端から端まで追跡し、実際にどこで時間がかかっているのかを突き止めました。片方だけを直してもキューの場所が移るだけなので、キャパシティとタスクの形は同時に修正しました。

ソリューション

  1. スーパーバイザーからハンドオフ、Historicalへのロードまでインジェスト経路全体を追跡し、本当の遅延箇所を特定
  2. 実際の同時タスク需要に合わせて、Middle Managerのワーカーキャパシティとタスクスロットの割り当てを再調整
  3. タスクが予測可能な周期でスロットを解放するよう、タスクの実行時間とセグメントの粒度を調整
  4. ハンドオフとHistoricalへのロードがインジェストの時間枠内に完了するよう、セグメントサイズを修正
  5. ストリーミングインジェストのキャパシティを、バッチおよびコンパクションのタスクキャパシティから分離し、リソースの奪い合いを解消
  6. スーパーバイザーの遅延、タスクスロットの使用率、ハンドオフの所要時間を、それぞれ個別にアラートできるシグナルとして計測

結果

インジェストの遅延は数秒の範囲に戻り、トラフィックのピーク時もその水準を維持しています。トレーディング用のダッシュボードは、実際に使われる時間帯に最新のデータを表示するようになりました。

使用テクノロジー

Apache DruidKafkaKubernetesPrometheus

Apache Druidの本番環境で問題が発生していますか?

AceMQのシニアApache Druidエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。