概覽
一家市場資料供應商擁有數百億列的資料表,查詢成本的成長已與結果大小不成比例。Clustering key 是多年前依當時的查詢模式定義的,而查詢模式早已改變。AceMQ 評估了最大幾張資料表的修剪成效。
挑戰
Snowflake 的效能與成本,最終都取決於查詢需要掃描多少個 micro-partition。當 clustering key 不再符合篩選條件時,修剪效果會悄悄變差:查詢依然回傳正確結果,掃描的資料量卻越來越多。自動 clustering 本身也會耗用 credit,必須與它所省下的掃描量相互權衡。
環境
部署於 Azure 上的 Snowflake,存放多年份的 tick 與參考資料,供研究與報表工作負載查詢。
做法
AceMQ 針對每張大型資料表的主要查詢模式,量測掃描的 partition 數與 partition 總數,直接判讀修剪成效。接著依可省下的掃描量與重新 clustering 所耗用的 credit,評估候選的 clustering key。
解決方案
- 依查詢模式量測掃描的 partition 數與 partition 總數,量化實際的修剪成效
- 將目前的 clustering key 與查詢現在(而非設計當時)使用的篩選條件進行比較
- 依掃描量的減少與持續的重新 clustering credit 成本,評估候選 clustering key
- 評估最大幾張資料表的 clustering depth,找出重新 clustering 跟不上的地方
- 檢視資料表設計,找出 partitioned table 或 search optimization 比 clustering 更適合的情況
- 提出逐表建議,並為每項建議註明預期的掃描量減少與 credit 影響
成效
這家供應商取得逐表的分析,清楚呈現修剪在哪裡變差、造成多少成本,且各項建議都已與重新 clustering 的 credit 相互權衡,而不是被當成免費的改善。最大的幾張資料表被列為優先處理,修剪恢復後,掃描的 partition 數量大幅減少。