概覽
大多數 Airbyte 部署都是從某個人的 Helm 安裝開始,最後卻承擔起正式環境的資料搬移工作。兩者之間的落差,在於資源隔離、帳密處理、內部資料庫的備份,以及經過測試的復原路徑。
挑戰
整個平台以預設的資源請求運作,來源系統的帳密以明文存放在設定中,而保存連線狀態的 Airbyte 內部資料庫也沒有任何備份。只要一個節點被驅逐,就可能中斷執行中的同步作業;一旦遺失內部資料庫,就得重新註冊每一條連線,並從頭重新讀取每一個來源。
環境
託管 Kubernetes 叢集上的 Airbyte,以 PostgreSQL 作為內部資料庫,來源涵蓋核心銀行系統與 SaaS 平台,並須遵循內部稽核要求。
做法
AceMQ 與平台團隊合作,為同步 pod 定義資源類別,將帳密移至外部機密管理系統,並讓內部資料庫納入經過測試的備份與還原週期。我們也將工作負載分開,避免大型同步作業搶光排程器的資源。
解決方案
- 為每條連線定義資源請求與限制,避免大型同步作業驅逐控制平面
- 將來源與目的地的帳密移至外部機密管理系統,並建立輪替程序
- 為保存連線狀態的 Airbyte 內部資料庫建立備份,並完成還原測試
- 將同步工作負載分配到專用的節點池,並設定適當的 toleration
- 撰寫連接器升級、卡住的工作與整個叢集復原的操作手冊
- 新增工作執行時間、失敗率與目的地資料新鮮度的指標與告警
成效
這套部署通過了刻意進行的節點排空測試,同步作業能從保存的狀態繼續執行;團隊也擁有了書面化的復原程序,可以直接出示給稽核人員,而不必憑記憶口頭說明。