導入事例の一覧に戻る

サポートソフトウェア・デジタルプラットフォーム

増分同期が人知れずフルリフレッシュに変わったとき、最初に気づかせてくれるのはデータウェアハウスの請求額です

サブスクリプション型ソフトウェアプロバイダー

増分モードから外れては、毎晩大きなテーブルに対してフルリフレッシュを再実行していたAirbyteのコネクションを正常な状態に戻しました。

概要

増分同期は、安定したカーソルと保持されたコネクションの状態に依存しています。設定の変更、コネクターのバージョンアップ、単調増加しないカーソル列などによってそのどちらかが無効になると、Airbyteはすべてを読み込む方式にフォールバックし、そのコストはAirbyte自体ではなくデータウェアハウス側にのしかかります。

課題

数億行規模のテーブルに対する夜間のコネクションが、数分ではなく数時間かかるようになりました。カーソル列はupdated-atのタイムスタンプでしたが、アプリケーションが時折その値を過去の日時に書き換えていたため、一部の実行でレコードが取りこぼされていました。そしてチームの対処であるコネクションのリセットが、そのたびにテーブル全体の再読み込みを引き起こしていました。取り込みの時間帯のデータウェアハウスのコンピュートは、数倍に膨らんでいました。

環境

AWS上のAirbyte Cloudとセルフマネージドのワーカー、PostgreSQLのソース、従量課金型のコンピュート料金のクラウドデータウェアハウスを宛先とする構成。

アプローチ

AceMQは、直近の実行にわたるコネクションの状態のペイロードをレビューして、どこで状態が破棄されているのかを確認し、そのうえで、そのテーブルにはカーソルベースの増分同期とログベースのCDCのどちらが適しているかを評価しました。最もデータ量の多いストリームはCDCに移し、変更の少ない参照テーブルは、それが本当に安上がりな選択肢である場合に限り、スケジュール実行のフルリフレッシュのまま残しました。

ソリューション

  1. 実行ごとにストリーム単位の状態のペイロードを追跡し、増分同期の状態が無効になっている箇所を特定
  2. 最もデータ量の多いテーブルについて、信頼性の低いタイムスタンプのカーソルをログベースのCDCに置き換え
  3. 変更の多いストリームと少ないストリームを別々のコネクションに分け、それぞれ異なるスケジュールを設定
  4. データウェアハウスのクラスターへの負荷を平準化するため、同期の並行度と宛先のバッチサイズをチューニング
  5. どの設定変更が状態のリセットを引き起こすかを文書化し、日常的な編集でフルリフレッシュが起きないように対策

結果

夜間の取り込みの時間は元の長さに戻り、繰り返し発生していたフルリフレッシュもなくなりました。取り込みのワークロードにかかるデータウェアハウスの費用は、ほぼインシデント前の水準まで下がりました。

使用テクノロジー

AirbytePostgreSQLSnowflakeDebezium

Airbyteの専門家によるサポートが必要ですか?

AceMQのシニアAirbyteエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。