概要
増分同期は、安定したカーソルと保持されたコネクションの状態に依存しています。設定の変更、コネクターのバージョンアップ、単調増加しないカーソル列などによってそのどちらかが無効になると、Airbyteはすべてを読み込む方式にフォールバックし、そのコストはAirbyte自体ではなくデータウェアハウス側にのしかかります。
課題
数億行規模のテーブルに対する夜間のコネクションが、数分ではなく数時間かかるようになりました。カーソル列はupdated-atのタイムスタンプでしたが、アプリケーションが時折その値を過去の日時に書き換えていたため、一部の実行でレコードが取りこぼされていました。そしてチームの対処であるコネクションのリセットが、そのたびにテーブル全体の再読み込みを引き起こしていました。取り込みの時間帯のデータウェアハウスのコンピュートは、数倍に膨らんでいました。
環境
AWS上のAirbyte Cloudとセルフマネージドのワーカー、PostgreSQLのソース、従量課金型のコンピュート料金のクラウドデータウェアハウスを宛先とする構成。
アプローチ
AceMQは、直近の実行にわたるコネクションの状態のペイロードをレビューして、どこで状態が破棄されているのかを確認し、そのうえで、そのテーブルにはカーソルベースの増分同期とログベースのCDCのどちらが適しているかを評価しました。最もデータ量の多いストリームはCDCに移し、変更の少ない参照テーブルは、それが本当に安上がりな選択肢である場合に限り、スケジュール実行のフルリフレッシュのまま残しました。
ソリューション
- 実行ごとにストリーム単位の状態のペイロードを追跡し、増分同期の状態が無効になっている箇所を特定
- 最もデータ量の多いテーブルについて、信頼性の低いタイムスタンプのカーソルをログベースのCDCに置き換え
- 変更の多いストリームと少ないストリームを別々のコネクションに分け、それぞれ異なるスケジュールを設定
- データウェアハウスのクラスターへの負荷を平準化するため、同期の並行度と宛先のバッチサイズをチューニング
- どの設定変更が状態のリセットを引き起こすかを文書化し、日常的な編集でフルリフレッシュが起きないように対策
結果
夜間の取り込みの時間は元の長さに戻り、繰り返し発生していたフルリフレッシュもなくなりました。取り込みのワークロードにかかるデータウェアハウスの費用は、ほぼインシデント前の水準まで下がりました。