概覽
增量同步仰賴穩定的游標(cursor)與完整保存的連線狀態。一旦其中之一失效——無論是因為設定變更、連接器版本升級,還是游標欄位並非單調遞增——Airbyte 就會退回到讀取全部資料,而成本會落在資料倉儲上,而不是 Airbyte 本身。
挑戰
一條針對數億筆資料列資料表的每晚連線,執行時間從幾分鐘變成好幾個小時。游標欄位是一個 updated-at 時間戳記,而應用程式偶爾會把它往回修改,導致某些執行會漏掉資料;團隊的修正方式是重設連線,結果每次都觸發一次完整重讀。匯入時段的資料倉儲運算量因此成長了好幾倍。
環境
Airbyte Cloud 與執行於 AWS 上的自行管理 worker、PostgreSQL 來源,以及採用依用量計費運算的雲端資料倉儲目的地。
做法
AceMQ 檢視了近期各次執行的連線狀態內容,確認狀態是在哪裡被捨棄,接著評估這張資料表比較適合以游標為基礎的增量同步,還是以日誌為基礎的 CDC。我們將流量最大的串流改為 CDC,而變動少的參考資料表則維持排程式完整重新整理——在這種情況下,那確實是比較便宜的選項。
解決方案
- 追蹤各次執行中每個串流的狀態內容,找出增量狀態在哪裡失效
- 針對流量最大的資料表,以日誌為基礎的 CDC 取代不可靠的時間戳記游標
- 將變動頻繁與變動少的串流拆分到不同連線,並採用不同排程
- 調校同步並行度與目的地批次大小,讓資料倉儲叢集的負載更平穩
- 記錄哪些設定變更會觸發狀態重設,讓例行修改不再導致完整重新整理
成效
每晚的匯入時段恢復到原本的長度,反覆發生的完整重新整理也不再出現。匯入工作負載的資料倉儲支出,回落到大約事件發生前的水準。