概要
ほとんどのAirbyte環境は、誰かがHelmでインストールしたところから始まり、やがて本番のデータ移動を担うようになります。その2つの状態の間にある差は、リソースの分離、認証情報の扱い、内部データベースのバックアップ、そしてテスト済みの復旧手順です。
課題
プラットフォームは、デフォルトのリソースリクエストのまま稼働し、ソースの認証情報は平文の設定に保存され、接続の状態を保持するAirbyteの内部データベースのバックアップもありませんでした。ノードが1台退避されるだけで実行中の同期が止まりかねず、内部データベースを失えば、すべての接続を登録し直し、すべてのソースを最初から読み直す必要がありました。
環境
マネージドKubernetesクラスター上のAirbyte。内部データベースはPostgreSQL。勘定系システムからSaaSプラットフォームまでにまたがるソース。内部監査の要件のもとで運用。
アプローチ
AceMQはプラットフォームチームと協力して、同期用ポッドのリソースクラスを定義し、認証情報を外部のシークレットマネージャーに移し、内部データベースにテスト済みのバックアップとリストアのサイクルを導入しました。また、重い同期処理がスケジューラーのリソースを奪わないよう、ワークロードを分離しました。
ソリューション
- 接続ごとにリソースリクエストと制限を定義し、大規模な同期がコントロールプレーンを退避させないように
- ソースとデスティネーションの認証情報を、ローテーション手順を備えた外部のシークレットマネージャーへ移行
- 接続の状態を保持するAirbyteの内部データベースについて、バックアップとテスト済みのリストア手順を確立
- 適切なtolerationを設定したうえで、同期のワークロードを専用のノードプールに分離
- コネクターのアップグレード、停止したジョブ、クラスター全体の復旧についてランブックを作成
- ジョブの実行時間、失敗率、デスティネーションのデータ鮮度について、メトリクスとアラートを追加
結果
デプロイは意図的なノードのドレインテストにも耐え、同期は保存された状態から再開しました。チームは、記憶を頼りに説明するのではなく、監査担当者に提示できる文書化された復旧手順を手にしました。