概覽
Airbyte 殺傷力最大的故障模式不是紅燈的作業,而是綠燈的作業。當來源新增、重新命名欄位或變更欄位型別,而連線的結構描述傳播政策默默忽略這些變更時,記錄仍會持續寫入,但業務實際用來製作報表的欄位卻停止更新。
挑戰
某個來源應用程式推出新版本,將兩個欄位重新命名,並把一個數值欄位改為字串。Airbyte 連線依然順利完成、沒有任何錯誤,但建立在這些欄位上的下游模型卻回傳 null。由於所有儀表板告警都綁定在作業狀態而非資料新鮮度上,好幾個報表週期都沒有人察覺。
環境
在 Kubernetes 上自行託管的 Airbyte,將 PostgreSQL 與 SaaS 來源同步至雲端資料倉儲,並由 dbt 模型使用原始資料層。
做法
AceMQ 工程師調出該連線的目錄(catalog)歷史,將探索到的結構描述與已設定的串流結構描述進行比對,精確找出哪些欄位在何時發生漂移。接著,我們追查目的地的正規化行為、修正結構描述變更政策,並以受控的批次回填受影響的時間區間,而不是一次執行完整重新整理。
解決方案
- 比對探索到的來源目錄與已設定的串流結構描述,找出發生漂移與遭捨棄的欄位
- 逐一串流重設結構描述變更傳播政策,讓破壞性變更明確失敗,而不是默默截斷
- 以修正後的主鍵與游標欄位重建受影響的串流
- 以大小有上限的批次回填受影響的日期範圍,避免資料倉儲點數暴增
- 在目的地新增資料新鮮度與列數檢查,讓資料過時的告警獨立於作業狀態之外
成效
過時的欄位已重新填入資料,而當來源結構描述發生連線無法吸收的變更時,連線現在會明確失敗。團隊也不再把作業狀態當作資料正確性的替代指標。