返回所有使用案例

問題修復軟體/數位平台

壓實拖垮 Delta 資料表的小檔案,並讓資料表持續維持壓實狀態

數位零售平台

修復因串流寫入與過度分割而產生數百萬個小檔案的 Delta 資料表,解決讀取與 vacuum 作業停滯的問題。

概覽

由觸發間隔很短的串流工作寫入、又以高基數欄位作為分割欄的 Delta 資料表,累積小檔案的速度往往快到沒有人察覺。原本幾秒內就能回傳的查詢,開始把大部分時間花在列出檔案與解析中繼資料上。AceMQ 會修復這些資料表,並一併修正造成問題的寫入路徑。

挑戰

症狀通常是讀取延遲穩定而持續地增加,而不是突然惡化:原本八秒的儀表板查詢變成四分鐘,OPTIMIZE 工作超出維護時段而被強制終止,VACUUM 也因為檔案清單本身過於龐大而無法完成。若貿然對整張資料表執行 OPTIMIZE,會觸發一次全面改寫,所耗費的運算資源遠超出團隊預算,還會與同時進行的寫入作業發生衝突。

環境

Databricks 上的 Delta 資料表,由 Structured Streaming、Auto Loader 或高頻率的微批次工作寫入雲端物件儲存。

做法

AceMQ 會依分割區剖析檔案數量與大小分布,找出損害集中的位置,再依分割區範圍逐步進行壓實,讓每次 OPTIMIZE 都能在維護時段內完成,且不會與進行中的寫入作業衝突。資料表恢復健康後,我們會修正寫入路徑,包括觸發間隔、分割欄位的選擇與自動壓實設定,避免問題再次發生。

解決方案

  1. 依分割區剖析檔案數量與大小,找出小檔案實際累積的位置
  2. 依實際查詢條件搭配 ZORDER 執行漸進式 OPTIMIZE,並依分割區範圍排程,以配合維護時段
  3. 檢視分割策略,通常會移除一個應改為 ZORDER 鍵的高基數欄位
  4. 在串流寫入路徑上設定 auto-optimize 與自動壓實,並調校目標檔案大小
  5. 在檔案數量回到合理範圍後,檢視 VACUUM 保留期限並分階段執行
  6. 針對大量使用 MERGE 的資料表,檢視刪除向量(deletion vector)與檢查點設定

成效

受影響資料表的讀取延遲通常能回到原本的水準,維護工作也能再次於時段內完成。由於寫入路徑在同一次合作中一併修正,接下來一季的檔案數量會維持平穩,而不會再度攀升。

技術

DatabricksDelta LakeApache Spark

正面臨 Databricks 正式環境問題嗎?

AceMQ 的資深 Databricks 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。