概要
Boomiのプロセスは規制対象のトランザクションをシステム間でやり取りしており、その間の転送をRabbitMQが担っていました。データセンターで障害が起きた場合の復旧は、誰も練習したことのない手動での昇格に頼っており、いったんメッセージが消費されると、それをリプレイする手段はありませんでした。
課題
2つのギャップが互いに問題を大きくしていました。フェイルオーバーは担当者がリハーサルしていない手順に従うことに依存しており、さらにキューは消費されるとメッセージを破棄するため、インシデントの間に何が流れたのかを監査に耐える形で再構成する方法がありませんでした。しかも、この基盤が監査を受けている統制を損なうことなく、両方を解決する必要がありました。
環境
コンテナプラットフォーム上のRabbitMQで動くBoomiの連携プロセス。プライマリとディザスタリカバリの2つのデータセンターにまたがる構成。
アプローチ
AceMQは、手動と自動の両方のフェイルオーバーを網羅し、商用のRabbitMQディストリビューションを採用すると自動の選択肢がどう変わるのかも含めた、ディザスタリカバリの設計を作成しました。並行して、選定したキューをストリームに変換し、消費後もメッセージをリプレイできるようにする案を評価し、ブローカーに到達できないときにBoomiのプロセスが失敗するのではなく縮退運転となるよう、バッファリングのレイヤーを定義しました。
ソリューション
- 手動での昇格と自動フェイルオーバーを比較したディザスタリカバリの設計
- プライマリとDRの両データセンターにまたがるクラスターのサイジング
- 消費後もメッセージをリプレイできるようにする、キューからストリームへの変換の評価
- 連携基盤の監査と保持に関する統制に照らした、リプレイのレビュー
- 障害時に連携プロセスが失敗するのではなく縮退運転となるためのバッファリングのレイヤー
- サポートチームと開発チーム向けの運用ランブックとトレーニング
結果
この連携基盤は、リハーサル済みの復旧手順、障害の間に何が起きたのかを説明できる確かな根拠、そしてベンダーを待たずに自社のエンジニアが実行できるランブックを手にしました。