概覽
Boomi 流程負責在各系統之間傳遞受監管的交易,並以 RabbitMQ 作為彼此之間的傳輸層。要從資料中心事件中復原,必須執行一次沒有人練習過的手動升格;而訊息一旦被消費,就再也無法重播。
挑戰
兩個缺口彼此加乘。容錯移轉仰賴人員按照一份從未演練過的程序操作,而且由於佇列中的訊息在消費後即被丟棄,事故期間到底流過了哪些訊息,也沒有一個符合稽核要求的方式可以還原。這兩個問題都必須在不破壞該環境受稽核之控制措施的前提下解決。
環境
在容器平台上透過 RabbitMQ 運作的 Boomi 整合流程,橫跨主要資料中心與災難復原資料中心。
做法
AceMQ 提出一份涵蓋手動與自動容錯移轉的災難復原設計,包括商業版 RabbitMQ 發行版對自動化選項帶來的改變。同時,我們評估將特定佇列轉換為 stream,讓訊息在被消費之後仍可重播,並規劃一層緩衝機制,讓 Boomi 流程在無法連上訊息代理時降級運作,而不是直接失敗。
解決方案
- 比較手動升格與自動容錯移轉的災難復原設計
- 橫跨主要資料中心與災難復原資料中心的叢集規模規劃
- 評估將佇列轉換為 stream,讓訊息在消費後仍可重播
- 依該環境的稽核與保留控制措施審查重播機制
- 加入緩衝層,讓整合流程在服務中斷期間降級運作而非失敗
- 為技術支援與開發團隊提供維運操作手冊與教育訓練
成效
這套整合環境取得了經過演練的復原程序、能清楚交代服務中斷期間發生了什麼事的依據,以及一份自家工程師無須等待廠商即可執行的操作手冊。