導入事例の一覧に戻る

アセスメント業界横断

お客様のAirbyte環境が実際に何をしているのかを、ありのままに棚卸しする

保険サービスグループ

場当たり的に拡大してきたAirbyte環境を体系的にレビューし、コネクターのバージョン、同期モード、状態の扱い、障害の可視性を監査しました。

概要

Airbyte環境は膨らんでいく傾向があります。接続は簡単に追加できるため次々と追加され、1年も経つと、どのコネクターが古いバージョンに固定されているのか、どのストリームが理由もなくフルリフレッシュになっているのか、どのパイプラインが下流のどこからも使われていないのか、誰にもわからなくなります。

課題

データプラットフォームチームは、複数のワークスペースにまたがって100を超える接続を抱えていました。コネクターのバージョンは大きくばらつき、カスタムコネクターはすでに退職した人たちが作ったもので、主キー、重複排除、デッドレターの扱いにも一貫したパターンがありませんでした。コネクターをアップグレードした場合の影響範囲を、誰も見積もることができませんでした。

環境

Kubernetes上のセルフホスト型Airbyte。認定済み、コミュニティ製、社内開発のコネクターが混在し、クラウドのデータウェアハウスにデータを供給。

アプローチ

AceMQは、Airbyte APIを通じてすべての接続を棚卸しし、各ストリームを下流の利用先に対応付けたうえで、バージョンの鮮度、同期モードの適合性、状態の信頼性、可観測性の観点から各接続を評価しました。成果物は、一般的な成熟度スコアではなく、順位付けされた改善バックログです。

ソリューション

  1. Airbyte APIを通じた、ワークスペース、接続、ストリーム、コネクターバージョンの全量棚卸し
  2. 各ストリームを下流のデータウェアハウスのモデルに対応付け、使われていないパイプラインや孤立したパイプラインを特定
  3. 選択された同期モードがテーブルの変更特性に合っていないストリームを洗い出し
  4. カスタムコネクターのコードをレビューし、リトライ、ページネーション、レート制限の処理の不備を確認
  5. 工数の見積もりとアップグレードの実施順序の計画を含む、優先度付きのバックログを提供

結果

チームは、どこにもデータを供給していなかった接続のかなりの割合を廃止し、コネクターのバージョンをサポート対象のベースラインに統一しました。インシデントが起きるたびにコネクターを1つずつアップグレードするのではなく、根拠のあるアップグレードの順序を手にしています。

使用テクノロジー

AirbyteKubernetesPostgreSQLdbtKafka

Airbyteのヘルスチェックをご検討ですか?

AceMQのシニアAirbyteエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。