導入事例の一覧に戻る

是正対応業界横断

データウェアハウスのテーブルが古くなっていくのに、緑のステータスを返し続ける同期を突き止める

小売分析企業

アップストリームのスキーマ変更の後、宛先のテーブルが人知れず古くなっていく一方で、成功を報告し続けていたAirbyteのコネクションを診断しました。

概要

Airbyteで最も深刻な被害をもたらす障害は、赤く表示されるジョブではなく、緑のジョブです。ソース側で列が追加、名前変更、型変更され、コネクションのスキーマ伝播ポリシーがそれを黙って無視すると、レコードは届き続けるものの、ビジネスが実際にレポートに使っている列は更新されなくなります。

課題

ソースアプリケーションのリリースで、2つの列の名前が変更され、数値型のフィールドが文字列型に変わりました。Airbyteのコネクションはエラーなしで完了し続けましたが、それらのフィールドをもとにした下流のモデルはnullを返すようになりました。ダッシュボードのアラートがすべてデータの鮮度ではなくジョブのステータスに紐づいていたため、数回のレポートサイクルの間、誰も気づきませんでした。

環境

Kubernetes上のセルフホスト型Airbyteで、PostgreSQLとSaaSのソースをクラウドデータウェアハウスに同期し、rawレイヤーをdbtのモデルが利用する構成。

アプローチ

AceMQのエンジニアは、コネクションのカタログ履歴を取得し、検出されたスキーマと設定済みのストリームのスキーマを比較して、どのフィールドがいつドリフトしたのかを正確に特定しました。そこから宛先での正規化の挙動を追跡し、スキーマ変更のポリシーを修正したうえで、影響を受けた期間を1回のフルリフレッシュではなく、管理されたバッチ単位でバックフィルしました。

ソリューション

  1. 検出されたソースのカタログと設定済みのストリームのスキーマの差分を取り、ドリフトしたフィールドと欠落したフィールドを特定
  2. ストリームごとにスキーマ変更の伝播ポリシーを設定し直し、互換性を壊す変更が黙って切り捨てられるのではなく、目に見える形で失敗するように変更
  3. 影響を受けたストリームを、修正した主キーとカーソルフィールドで再構築
  4. データウェアハウスのクレジット消費の急増を避けるため、影響を受けた日付範囲を上限付きのバッチでバックフィル
  5. 宛先に鮮度と行数のチェックを追加し、ジョブのステータスとは独立して、データが古くなったことをアラートで通知

結果

古くなっていた列にはデータが再投入され、コネクションは、ソースのスキーマが吸収できない形で変更された場合に、目に見える形で失敗するようになりました。チームは、ジョブのステータスをデータの正しさの代わりとして頼るのをやめました。

使用テクノロジー

AirbytePostgreSQLSnowflakeKubernetesdbt

Airbyteの本番環境で問題が発生していますか?

AceMQのシニアAirbyteエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。