概要
フェデレーテッドクエリのレイテンシーの問題はシステムの境界をまたぐため、社内で責任を持つのが難しいものです。Trinoチームはソース側を、ソース側のチームはTrinoを疑い、全体像を把握している人は誰もいません。AceMQは、その両側を読み解ける専任のシニアエンジニアを提供します。
課題
Starburstのレイテンシー悪化は、構造的な問題ではなく環境の変化に起因することがよくあります。ソースデータベースでインデックスが変更された、一括ロード後に統計情報が古くなった、コネクターのアップグレードでプッシュダウンの挙動が変わった、同時実行数がじわじわと増えてコーディネーターのキューイングが長くなった、などです。BIツールからはどれも「ダッシュボードが遅い」という同じ症状にしか見えず、診断にはコネクターの両側へのアクセスと専門知識が必要です。
環境
Kubernetes、VM、またはマネージドクラウド上のStarburst EnterpriseまたはGalaxyで、複数の本番ソースをフェデレーションしている環境。
アプローチ
AceMQのエンジニアは、クエリのイベント履歴、コーディネーターのキューのメトリクス、ソース側の実行計画をあわせて分析するため、性能悪化の原因を言い争うことなく正しく特定できます。当面の緩和策としてはリソースグループの変更やクエリの書き換えを行い、その後のフォローアップで、原因となった統計情報、コネクターの設定、ソース側のインデックスに対処します。
ソリューション
- プランに応じた15分からの対応目標。専任のシニアエンジニア、24/7対応、ティア1での一次切り分けなし
- クエリのイベント履歴とコーディネーターのキューを分析し、実行の遅さと受け付け待ちの遅延を切り分け
- ソース側の実行計画を比較し、性能悪化がTrinoと基盤システムのどちらで生じたのかを判定
- Starburstやソースのバージョン変更後に、コネクターのアップグレードと設定に起因する性能悪化をレビュー
- 一括ロード後に形の変わったテーブルについて、統計情報の鮮度を確認し、ANALYZEの実行スケジュールを設定
- BIツールからのクエリ集中に備えた、同時実行数とリソースグループの調整
結果
レイテンシー悪化の原因が適切なシステムにすばやく特定されるようになり、解決までの時間が短縮されるとともに、フェデレーテッドクエリの問題につきもののチーム間の押し付け合いもなくなりました。