概要
ある市場データプロバイダーでは、数百億行規模のテーブルで、クエリのコストが結果のサイズに見合わないほど膨らんでいました。クラスタリングキーは数年前に定義されたもので、その後クエリパターンは変化していました。AceMQは、最大規模のテーブル群を対象にプルーニングの効果をアセスメントしました。
課題
Snowflakeのパフォーマンスとコストは、いずれもクエリがスキャンしなければならないマイクロパーティションの数で決まります。クラスタリングキーがフィルター条件と合わなくなると、プルーニングは静かに劣化します。クエリは正しい結果を返し続けながら、スキャンするデータ量だけが徐々に増えていくのです。また、自動クラスタリングにはそれ自体のクレジットコストがかかるため、回避できるスキャンとの比較で判断する必要があります。
環境
Azure上のSnowflake。複数年分のティックデータとリファレンスデータを保持し、リサーチとレポーティングのワークロードからクエリを受ける。
アプローチ
AceMQは、各大規模テーブルの主要なクエリパターンについて、スキャンしたパーティション数と全パーティション数を比較計測しました。これにより、プルーニングの効果を直接把握できます。そのうえで、候補となるクラスタリングキーを、回避できるスキャン量と、再クラスタリングで消費するクレジットの両面から評価しました。
ソリューション
- クエリパターンごとに、スキャンしたパーティション数と全パーティション数を計測し、実際のプルーニング効果を定量化
- 現在のクラスタリングキーを、設計時ではなく現在のクエリが使うフィルター条件と比較
- 候補のクラスタリングキーを、スキャン削減量と継続的な再クラスタリングのクレジットコストの両面から評価
- 最大規模のテーブルのクラスタリング深度を評価し、再クラスタリングが追いついていない箇所を特定
- クラスタリングよりもパーティション化テーブルや検索最適化のほうが適しているケースについて、テーブル設計をレビュー
- テーブルごとに、想定されるスキャン削減量とクレジットへの影響を明記した推奨事項を提供
結果
このプロバイダーは、どこでプルーニングが劣化し、それがどれだけのコストを生んでいたかをテーブル単位で把握できました。推奨事項は、コストがかからないものとして提示するのではなく、再クラスタリングのクレジットと比較したうえで示しています。最大規模のテーブルを優先して対応し、プルーニングの回復によってスキャンするパーティション数を大幅に削減しました。