概覽
一家物流服務供應商的 Snowflake 支出成長速度超過其資料量與使用者人數,財務部門希望在核准下一筆承諾用量之前得到合理解釋。AceMQ 將用量與每個虛擬倉儲實際執行的工作進行對照分析。
挑戰
成長大多來自結構性的選擇,而非真正的需求。虛擬倉儲為了解決個別慢查詢而調大規格,之後卻從未調回。自動暫停時間設得太長,導致虛擬倉儲長時間閒置卻仍持續計費。多個團隊共用虛擬倉儲,資源爭用又促使規格進一步調大,卻沒有讓任何人真正受益。
環境
部署於 AWS 上的 Snowflake,為多個團隊提供商業智慧、dbt 轉換與臨時分析服務。
做法
AceMQ 建立了細到虛擬倉儲、工作負載與查詢模式的用量歸屬分析,讓決策能以證據而非平均值為依據。接著依各工作負載的實測輪廓設定規格,並根據閒置計費與快取熱度之間的取捨來調校自動暫停,而不是沿用預設值。
解決方案
- 依虛擬倉儲、工作負載、團隊與查詢模式建立 credit 用量歸屬分析
- 依實測的查詢輪廓調整每個虛擬倉儲的規格,而不是以曾經執行過最差的查詢為準
- 針對每個虛擬倉儲,依閒置計費與結果快取熱度之間的實際取捨調校自動暫停
- 將互相爭用資源的工作負載分離到專屬虛擬倉儲,讓規格決策不再是妥協
- 僅在真正的瓶頸是並行量、而非查詢大小時,才採用多叢集擴展
- 設定資源監控器與各團隊的防護機制,並在達到門檻前發出告警
成效
credit 用量顯著下降,且任何工作負載的查詢效能都未受影響;相對於資料量的成長曲線也趨於平緩。財務部門現在能依團隊掌握成本歸屬,因此成本討論會針對具體的工作負載,而不是單一的彙總數字。