返回所有使用案例

評估金融服務/交易

找出您的查詢實際讀取了每張資料表的多少資料

金融市場資料供應商

針對查詢已開始掃描大部分資料的大型資料表,評估 clustering key、micro-partition 修剪與資料表設計。

概覽

一家市場資料供應商擁有數百億列的資料表,查詢成本的成長已與結果大小不成比例。Clustering key 是多年前依當時的查詢模式定義的,而查詢模式早已改變。AceMQ 評估了最大幾張資料表的修剪成效。

挑戰

Snowflake 的效能與成本,最終都取決於查詢需要掃描多少個 micro-partition。當 clustering key 不再符合篩選條件時,修剪效果會悄悄變差:查詢依然回傳正確結果,掃描的資料量卻越來越多。自動 clustering 本身也會耗用 credit,必須與它所省下的掃描量相互權衡。

環境

部署於 Azure 上的 Snowflake,存放多年份的 tick 與參考資料,供研究與報表工作負載查詢。

做法

AceMQ 針對每張大型資料表的主要查詢模式,量測掃描的 partition 數與 partition 總數,直接判讀修剪成效。接著依可省下的掃描量與重新 clustering 所耗用的 credit,評估候選的 clustering key。

解決方案

  1. 依查詢模式量測掃描的 partition 數與 partition 總數,量化實際的修剪成效
  2. 將目前的 clustering key 與查詢現在(而非設計當時)使用的篩選條件進行比較
  3. 依掃描量的減少與持續的重新 clustering credit 成本,評估候選 clustering key
  4. 評估最大幾張資料表的 clustering depth,找出重新 clustering 跟不上的地方
  5. 檢視資料表設計,找出 partitioned table 或 search optimization 比 clustering 更適合的情況
  6. 提出逐表建議,並為每項建議註明預期的掃描量減少與 credit 影響

成效

這家供應商取得逐表的分析,清楚呈現修剪在哪裡變差、造成多少成本,且各項建議都已與重新 clustering 的 credit 相互權衡,而不是被當成免費的改善。最大的幾張資料表被列為優先處理,修剪恢復後,掃描的 partition 數量大幅減少。

技術

SnowflakedbtAirflowTerraform

準備好進行 Snowflake 健康檢查了嗎?

AceMQ 的資深 Snowflake 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。