概要
ある通信事業者のDruidクラスターには、コンパクションのポリシーがないまま何年分ものネットワークテレメトリーが蓄積していました。セグメント数は数百万に達し、それに伴ってコーディネーターの処理も増え、すべてのクエリがデータ量ではなくセグメント数に比例したオーバーヘッドを負っていました。AceMQは粒度とコンパクションの戦略を設計しました。
課題
ストリーミングでの取り込みでは、当然ながら、クエリにとって望ましいサイズではなく取り込みの時間枠に合わせた小さなセグメントが生成されます。コンパクションがなければ、こうしたセグメントは無期限に残り続けます。再設計では、実際のクエリの時間範囲に合った粒度を選び、プルーニングを改善するセカンダリパーティショニングを定義し、タスクの処理能力を取り込みと奪い合わないようにコンパクションをスケジュールする必要がありました。
環境
複数年分のネットワークパフォーマンスと加入者のテレメトリーを保存する、オンプレミスのApache Druidクラスター。
アプローチ
AceMQは、データソースごとにクエリの時間範囲の分布を分析し、データが実際にどうクエリされているかに合ったセグメント粒度を選びました。そのうえで、取り込みを妨げずに継続的に実行されるよう、タスクの処理能力を明示的に確保した自動コンパクションを設計しました。
ソリューション
- データソースごとにクエリの時間範囲の分布を分析し、慣習ではなく根拠に基づいてセグメントの粒度を選定
- クエリで最もよくフィルター条件に使われるディメンションにセカンダリパーティショニングを定義し、セグメント内のプルーニングを改善
- 目標セグメントサイズと、明示的に確保したタスクの処理能力を設定して自動コンパクションを構成
- クラスターに過大な負荷をかけないよう、履歴のバックログのコンパクションを範囲を区切った段階に分けてスケジュール
- クエリの粒度が許す範囲でセグメントサイズを削減するため、データソースごとにロールアップとメトリクス集計のポリシーを設定
- データソースごとのセグメント数と平均セグメントサイズを、追跡対象の運用メトリクスとして確立
結果
バックログのコンパクションが進むにつれてセグメント数は劇的に減少し、新しいデータが届いても自動コンパクションによって安定した数に保たれています。コーディネーターの負荷は下がり、クエリのオーバーヘッドはセグメント数ではなくデータ量に応じて増えるようになりました。