概覽
Airbyte 環境往往會不斷累積。因為新增連線很容易,連線就被快速地一條條加上去;一年之後,沒有人說得出哪些連接器被鎖定在舊版本、哪些串流毫無理由地使用完整重新整理(full refresh),又有哪些管線根本沒有任何下游在使用。
挑戰
資料平台團隊在數個工作區中擁有一百多條連線。連接器版本差異很大,自訂連接器是由早已離職的人所開發,而主鍵、去重與無法投遞(dead-letter)處理也沒有一致的做法。沒有人能評估一次連接器升級會波及多大的範圍。
環境
在 Kubernetes 上自行託管的 Airbyte,混用經過認證、社群提供與內部自行開發的連接器,將資料送入雲端資料倉儲。
做法
AceMQ 透過 Airbyte API 盤點每一條連線,將每個串流對應到其下游使用者,再依版本新舊程度、同步模式適切性、狀態可靠性與可觀測性為連線評分。最終產出的是一份依優先順序排列的修復待辦清單,而不是籠統的成熟度分數。
解決方案
- 透過 Airbyte API 完整盤點工作區、連線、串流與連接器版本
- 將每個串流對應到下游的資料倉儲模型,找出未被使用與孤立的管線
- 標示出所選同步模式與資料表變動特性不相符的串流
- 檢視自訂連接器程式碼在重試、分頁與速率限制處理上的缺口
- 交付附有工作量估算與升級排序計畫的優先待辦清單
成效
團隊汰除了相當比例沒有任何下游使用的連線,將連接器版本統一到受支援的基準版本,並取得一套有憑有據的升級順序,不再是每出一次事故才升級一個連接器。