概覽
Starburst 的價值,取決於連接器能否在來源端完成工作。當下推默默失效時,Trino 只好將整張資料表透過網路串流過來,再於 worker 記憶體中篩選,這是回答查詢最慢的一種方式。AceMQ 會找出下推在哪裡失效,並修正造成失效的條件。
挑戰
下推失效時悄無聲息。原本應該向 Snowflake 或 PostgreSQL 送出經過篩選與彙總之請求的查詢,最後卻發出全表掃描——原因可能是述詞欄位上的 CAST 讓連接器無法改寫查詢、某個函式在來源端沒有對應的函式,或是不同 catalog 之間的 join 鍵型別不一致。團隊看到查詢變慢就增加 worker,結果成本上升,真正的問題卻絲毫未動。
環境
Starburst Enterprise 或 Galaxy,橫跨地端與雲端,聯合關聯式資料來源、物件儲存與資料倉儲連接器。
做法
AceMQ 會閱讀最慢的重複性查詢的 EXPLAIN 與 EXPLAIN ANALYZE 輸出,確切看出哪些運算子被連接器接受、哪些仍留在 Trino 中執行。每一個受阻的下推都會被追溯到其原因——型別不符、不支援的函式、缺少統計資訊——並在查詢、檢視表或連接器設定層級加以修正。接著再提供以成本為基礎的最佳化器所需的統計資訊,讓它能選出合理的 join 順序。
解決方案
- 檢視最慢的重複性查詢之 EXPLAIN ANALYZE 輸出,找出哪些述詞、彙總與 join 未能成功下推
- 統一各 catalog 之間的型別,讓 join 鍵與篩選欄位不再強迫進行會破壞連接器改寫的型別轉換
- 針對每個來源系統,在連接器層級設定述詞、彙總、join 與 TopN 下推
- 收集資料表統計資訊並排程 ANALYZE,讓以成本為基礎的最佳化器選出正確的 join 順序與資料分布方式
- 為跨聯合來源的星狀綱要(star schema)join 設定動態篩選
- 針對少數確實無法下推的跨來源 join,設計物化檢視與快取服務
成效
原本掃描整張遠端資料表的查詢,重新回到來源端執行,跨網路傳輸的資料量也大幅下降。客戶通常會發現,他們可以延後增加 Trino worker,因為叢集不再替來源資料庫做它本該自己完成的工作。