概覽
在 Trino 中,單一不受限制的 join 就可能耗盡 worker heap,拖垮其他數十個查詢所依賴的節點。AceMQ 會先修復當下的不穩定,再建立資源控管機制,避免某位分析師的查詢演變成所有人的停機事件。
挑戰
Trino 在記憶體壓力下的故障方式非常突然。一個帶有錯誤條件的 cross join、一個 build 端遠比統計資訊所顯示還要大的 broadcast join,或是對未經篩選的事實資料表進行 ORDER BY,都會讓 worker heap 超過上限並終止 JVM。沒有 resource group 的話,單一查詢與整個叢集之間毫無屏障,而重試只會讓下一次嘗試更糟。
環境
在 Kubernetes 或虛擬機器上運行的 Starburst Enterprise,服務即席查詢與排程分析混合的工作負載。
做法
AceMQ 從 JVM 與查詢日誌著手,找出肇事的特定運算子與查詢,接著套用每個查詢與每個節點的記憶體上限,讓違規的查詢乾淨地失敗,而不是讓 worker 崩潰。對於確實會超出記憶體的 join 與排序,則設定溢寫至磁碟;並以 resource group 劃分容量,讓排程作業不受即席探索查詢的影響。
解決方案
- 分析 JVM heap、GC 日誌與查詢事件,將崩潰歸因到特定的運算子與查詢型態
- 依實際並行量調校 query.max-memory、query.max-memory-per-node 與 memory.heap-headroom
- 設定溢寫至磁碟並配置適當的本機儲存,供確實超出記憶體的 join、彙總與排序使用
- 定義 resource group,將排程資料管線、BI 工具與分析師的即席查詢分開,並設定硬性的並行上限
- 審查 join 分配方式與重新排序,包括在統計資訊誤導最佳化器時修正 broadcast 門檻
- 審查 coordinator 規模與 worker 節點規格,並為自動擴展叢集設定優雅關機
成效
worker 不再崩潰,超出配額的查詢會以清楚的資源錯誤失敗,而不會連帶拖垮其他節點。由於即席負載再也無法吃光整個叢集,排程資料管線也能如期完成。