返回所有使用案例

技術支援工業/製造

正常運作了兩年的作業,直到查找資料表變大的那一天

工業自動化製造商

解決維度資料表成長超過 broadcast 門檻後,最佳化器仍執意進行 broadcast,導致作業失敗的問題。

概覽

當其中一側的資料量很小時,broadcast join 是最快的選項;但當那一側悄悄不再小的時候,它也是正式環境停機的常見元兇。AceMQ 提供專屬資深工程師,在事件發生當下(而不是事後)診斷並解決這類故障。

挑戰

維度資料表超過 broadcast 門檻後,driver 不是在實體化資料時記憶體耗盡,就是在等待 executor 接收 broadcast 資料時逾時。過時的統計資訊讓情況更糟——最佳化器依據幾個月前收集的資料列數規劃 broadcast。程式碼中殘留的明確 broadcast hint 更是雪上加霜,因為最佳化器完全沒有退回的餘地。故障會在一個沒有人動過的作業中突然出現。

環境

在 YARN、Kubernetes、EMR 或 Databricks 上執行的 Apache Spark,對會隨時間成長的維度資料表進行 join。

做法

AceMQ 工程師會從實體執行計畫確認是否正在嘗試 broadcast 以及原因,再將 build 端的實際大小與門檻值及 driver 可用記憶體進行比較。立即的解法通常是修正門檻、移除 hint 或調整 driver 記憶體;長久的修正則是維護統計資訊,並審查程式碼庫中所有剩餘的明確 broadcast hint。

解決方案

  1. 依方案而定、最快 15 分鐘起的回應目標,由專屬資深工程師 24/7 處理,不經第一級(tier-1)分流
  2. 審查實體執行計畫,確認是否選擇了 broadcast,並將 build 端的實際大小與設定的門檻值進行比對
  3. 依 driver 實際記憶體修正 autoBroadcastJoinThreshold 與 broadcastTimeout
  4. 移除明確的 broadcast hint 或限縮其範圍,避免無論資料表如何成長都強制覆寫最佳化器的判斷
  5. 更新統計資訊並排程執行 ANALYZE TABLE,讓最佳化器依據最新的資料列數進行規劃
  6. 設定 Adaptive Query Execution,讓執行計畫能在執行期間退回 sort-merge join

成效

失敗的作業在當天就恢復服務,而且由於統計資訊持續維護、過時的 hint 也從整個程式碼庫中移除(而不只是出問題的那個作業),同樣的問題不再重演。

技術

Apache SparkDelta LakeApache Hive

需要專業的 Apache Spark 技術支援嗎?

AceMQ 的資深 Apache Spark 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。