概覽
當其中一側的資料量很小時,broadcast join 是最快的選項;但當那一側悄悄不再小的時候,它也是正式環境停機的常見元兇。AceMQ 提供專屬資深工程師,在事件發生當下(而不是事後)診斷並解決這類故障。
挑戰
維度資料表超過 broadcast 門檻後,driver 不是在實體化資料時記憶體耗盡,就是在等待 executor 接收 broadcast 資料時逾時。過時的統計資訊讓情況更糟——最佳化器依據幾個月前收集的資料列數規劃 broadcast。程式碼中殘留的明確 broadcast hint 更是雪上加霜,因為最佳化器完全沒有退回的餘地。故障會在一個沒有人動過的作業中突然出現。
環境
在 YARN、Kubernetes、EMR 或 Databricks 上執行的 Apache Spark,對會隨時間成長的維度資料表進行 join。
做法
AceMQ 工程師會從實體執行計畫確認是否正在嘗試 broadcast 以及原因,再將 build 端的實際大小與門檻值及 driver 可用記憶體進行比較。立即的解法通常是修正門檻、移除 hint 或調整 driver 記憶體;長久的修正則是維護統計資訊,並審查程式碼庫中所有剩餘的明確 broadcast hint。
解決方案
- 依方案而定、最快 15 分鐘起的回應目標,由專屬資深工程師 24/7 處理,不經第一級(tier-1)分流
- 審查實體執行計畫,確認是否選擇了 broadcast,並將 build 端的實際大小與設定的門檻值進行比對
- 依 driver 實際記憶體修正 autoBroadcastJoinThreshold 與 broadcastTimeout
- 移除明確的 broadcast hint 或限縮其範圍,避免無論資料表如何成長都強制覆寫最佳化器的判斷
- 更新統計資訊並排程執行 ANALYZE TABLE,讓最佳化器依據最新的資料列數進行規劃
- 設定 Adaptive Query Execution,讓執行計畫能在執行期間退回 sort-merge join
成效
失敗的作業在當天就恢復服務,而且由於統計資訊持續維護、過時的 hint 也從整個程式碼庫中移除(而不只是出問題的那個作業),同樣的問題不再重演。