返回所有使用案例

技術支援軟體/數位平台

當增量同步悄悄變成完整重新整理,第一個告訴您的是資料倉儲帳單

訂閱制軟體供應商

修正一條不斷脫離增量模式、每晚都對大型資料表重新執行完整重新整理(full refresh)的 Airbyte 連線。

概覽

增量同步仰賴穩定的游標(cursor)與完整保存的連線狀態。一旦其中之一失效——無論是因為設定變更、連接器版本升級,還是游標欄位並非單調遞增——Airbyte 就會退回到讀取全部資料,而成本會落在資料倉儲上,而不是 Airbyte 本身。

挑戰

一條針對數億筆資料列資料表的每晚連線,執行時間從幾分鐘變成好幾個小時。游標欄位是一個 updated-at 時間戳記,而應用程式偶爾會把它往回修改,導致某些執行會漏掉資料;團隊的修正方式是重設連線,結果每次都觸發一次完整重讀。匯入時段的資料倉儲運算量因此成長了好幾倍。

環境

Airbyte Cloud 與執行於 AWS 上的自行管理 worker、PostgreSQL 來源,以及採用依用量計費運算的雲端資料倉儲目的地。

做法

AceMQ 檢視了近期各次執行的連線狀態內容,確認狀態是在哪裡被捨棄,接著評估這張資料表比較適合以游標為基礎的增量同步,還是以日誌為基礎的 CDC。我們將流量最大的串流改為 CDC,而變動少的參考資料表則維持排程式完整重新整理——在這種情況下,那確實是比較便宜的選項。

解決方案

  1. 追蹤各次執行中每個串流的狀態內容,找出增量狀態在哪裡失效
  2. 針對流量最大的資料表,以日誌為基礎的 CDC 取代不可靠的時間戳記游標
  3. 將變動頻繁與變動少的串流拆分到不同連線,並採用不同排程
  4. 調校同步並行度與目的地批次大小,讓資料倉儲叢集的負載更平穩
  5. 記錄哪些設定變更會觸發狀態重設,讓例行修改不再導致完整重新整理

成效

每晚的匯入時段恢復到原本的長度,反覆發生的完整重新整理也不再出現。匯入工作負載的資料倉儲支出,回落到大約事件發生前的水準。

技術

AirbytePostgreSQLSnowflakeDebezium

需要專業的 Airbyte 技術支援嗎?

AceMQ 的資深 Airbyte 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。