概要
Airbyte環境は膨らんでいく傾向があります。接続は簡単に追加できるため次々と追加され、1年も経つと、どのコネクターが古いバージョンに固定されているのか、どのストリームが理由もなくフルリフレッシュになっているのか、どのパイプラインが下流のどこからも使われていないのか、誰にもわからなくなります。
課題
データプラットフォームチームは、複数のワークスペースにまたがって100を超える接続を抱えていました。コネクターのバージョンは大きくばらつき、カスタムコネクターはすでに退職した人たちが作ったもので、主キー、重複排除、デッドレターの扱いにも一貫したパターンがありませんでした。コネクターをアップグレードした場合の影響範囲を、誰も見積もることができませんでした。
環境
Kubernetes上のセルフホスト型Airbyte。認定済み、コミュニティ製、社内開発のコネクターが混在し、クラウドのデータウェアハウスにデータを供給。
アプローチ
AceMQは、Airbyte APIを通じてすべての接続を棚卸しし、各ストリームを下流の利用先に対応付けたうえで、バージョンの鮮度、同期モードの適合性、状態の信頼性、可観測性の観点から各接続を評価しました。成果物は、一般的な成熟度スコアではなく、順位付けされた改善バックログです。
ソリューション
- Airbyte APIを通じた、ワークスペース、接続、ストリーム、コネクターバージョンの全量棚卸し
- 各ストリームを下流のデータウェアハウスのモデルに対応付け、使われていないパイプラインや孤立したパイプラインを特定
- 選択された同期モードがテーブルの変更特性に合っていないストリームを洗い出し
- カスタムコネクターのコードをレビューし、リトライ、ページネーション、レート制限の処理の不備を確認
- 工数の見積もりとアップグレードの実施順序の計画を含む、優先度付きのバックログを提供
結果
チームは、どこにもデータを供給していなかった接続のかなりの割合を廃止し、コネクターのバージョンをサポート対象のベースラインに統一しました。インシデントが起きるたびにコネクターを1つずつアップグレードするのではなく、根拠のあるアップグレードの順序を手にしています。