概要
Airbyteで最も深刻な被害をもたらす障害は、赤く表示されるジョブではなく、緑のジョブです。ソース側で列が追加、名前変更、型変更され、コネクションのスキーマ伝播ポリシーがそれを黙って無視すると、レコードは届き続けるものの、ビジネスが実際にレポートに使っている列は更新されなくなります。
課題
ソースアプリケーションのリリースで、2つの列の名前が変更され、数値型のフィールドが文字列型に変わりました。Airbyteのコネクションはエラーなしで完了し続けましたが、それらのフィールドをもとにした下流のモデルはnullを返すようになりました。ダッシュボードのアラートがすべてデータの鮮度ではなくジョブのステータスに紐づいていたため、数回のレポートサイクルの間、誰も気づきませんでした。
環境
Kubernetes上のセルフホスト型Airbyteで、PostgreSQLとSaaSのソースをクラウドデータウェアハウスに同期し、rawレイヤーをdbtのモデルが利用する構成。
アプローチ
AceMQのエンジニアは、コネクションのカタログ履歴を取得し、検出されたスキーマと設定済みのストリームのスキーマを比較して、どのフィールドがいつドリフトしたのかを正確に特定しました。そこから宛先での正規化の挙動を追跡し、スキーマ変更のポリシーを修正したうえで、影響を受けた期間を1回のフルリフレッシュではなく、管理されたバッチ単位でバックフィルしました。
ソリューション
- 検出されたソースのカタログと設定済みのストリームのスキーマの差分を取り、ドリフトしたフィールドと欠落したフィールドを特定
- ストリームごとにスキーマ変更の伝播ポリシーを設定し直し、互換性を壊す変更が黙って切り捨てられるのではなく、目に見える形で失敗するように変更
- 影響を受けたストリームを、修正した主キーとカーソルフィールドで再構築
- データウェアハウスのクレジット消費の急増を避けるため、影響を受けた日付範囲を上限付きのバッチでバックフィル
- 宛先に鮮度と行数のチェックを追加し、ジョブのステータスとは独立して、データが古くなったことをアラートで通知
結果
古くなっていた列にはデータが再投入され、コネクションは、ソースのスキーマが吸収できない形で変更された場合に、目に見える形で失敗するようになりました。チームは、ジョブのステータスをデータの正しさの代わりとして頼るのをやめました。