概要
Starburstの価値は、コネクターがソース側で処理を行うことにかかっています。プッシュダウンが人知れず失敗すると、Trinoはテーブル全体をネットワーク越しにストリーミングし、ワーカーのメモリ上でフィルタリングすることで穴埋めします。これはクエリに答える方法として最も遅いやり方です。AceMQは、プッシュダウンがどこで機能していないかを突き止め、その原因となっている条件を修正します。
課題
プッシュダウンの失敗は表に出てきません。本来ならSnowflakeやPostgreSQLにフィルタリングと集計を済ませたリクエストを送るはずのクエリが、述語の列にかかったCASTがコネクターによる書き換えを阻んだ、関数にソース側の相当するものがない、あるいはカタログ間で結合キーの型が異なるといった理由で、代わりにフルテーブルスキャンを発行してしまいます。チームはクエリが遅いのを見てワーカーを追加しますが、それはコストを増やすだけで、本当の問題には手が付きません。
環境
オンプレミスとクラウドにまたがるリレーショナルデータソース、オブジェクトストレージ、データウェアハウスのコネクターをフェデレーションするStarburst EnterpriseまたはGalaxy。
アプローチ
AceMQは、繰り返し実行される最も遅いクエリのEXPLAINとEXPLAIN ANALYZEの出力を読み、どの演算子をコネクターが受け付け、どれがTrino側に残ったのかを正確に把握します。ブロックされた各プッシュダウンについて、型の不一致、サポートされていない関数、統計情報の欠落といった原因までたどり、クエリ、ビュー、コネクターの設定のいずれかのレベルで修正します。そのうえで、コストベースの最適化に、妥当な結合順序を選ぶために必要な統計情報を与えます。
ソリューション
- 繰り返し実行される最も遅いクエリのEXPLAIN ANALYZEをレビューし、プッシュダウンに失敗した述語、集計、結合を特定
- カタログ間で型をそろえ、結合キーやフィルター列がコネクターの書き換えを阻むキャストを強制しないように修正
- ソースシステムごとに、述語、集計、結合、TopNのプッシュダウンをコネクターレベルで設定
- テーブル統計情報の収集とANALYZEのスケジューリングにより、コストベースオプティマイザーが適切な結合順序と分散方式を選べるように設定
- フェデレーションしたソースをまたぐスタースキーマの結合に対する動的フィルタリングの設定
- どうしてもプッシュダウンできない、ごく一部のソース間結合のためのマテリアライズドビューとキャッシュサービスの設計
結果
これまでリモートのテーブル全体をスキャンしていたクエリがソース側での実行に戻り、ネットワークを流れるデータ量が大幅に減りました。本来ソースのデータベースが行うべき処理をクラスターが肩代わりしなくなったため、多くのお客様がTrinoワーカーの追加を先送りできるようになっています。