概覽
一家保險服務供應商在災難復原演練中發現,他們的 OpenSearch 快照無法順利還原。數個索引還原後呈現 red 狀態,還原作業隨即中止,這代表他們白紙黑字寫下的復原計畫根本行不通。
挑戰
快照儲存庫曾在某個時間點被重新設定,卻沒有執行儲存庫驗證步驟,導致部分區段檔案無法從目前的儲存桶路徑存取。還原作業看似正常開始,接著在特定分片上失敗。雪上加霜的是,目標網域執行的引擎版本比好幾份較舊的快照還新,因此部分索引超出支援的還原範圍,完全無法直接還原。
環境
AWS 上的託管 OpenSearch 網域,快照存放於物件儲存;稽核索引保留多年。
做法
我們首先將儲存庫視為可疑對象,在嘗試任何進一步還原之前先完成驗證。確認哪些快照完好之後,我們重建出可復原的集合,透過中間版本的路徑還原過舊的索引,再重建儲存庫設定,讓驗證成為快照週期的一部分,而不是只在災難復原演練時才執行。
解決方案
- 對每一個已註冊的儲存庫執行儲存庫驗證,區分完好的快照與無法存取的快照
- 逐一分片檢查快照狀態,精確找出哪些索引可以就地復原
- 較舊的索引透過受支援的中間引擎版本還原,再重新索引至新版本,而不是直接放棄
- 修正儲存庫路徑與存取政策,讓新快照統一寫入並讀取同一個一致的位置
- 加入自動化快照驗證與排程還原測試,讓失敗能在幾天內浮現,而不是等到災難復原演練時才發現
- 依實際可行的程序重寫復原操作手冊,並附上各索引層級的實測時間
成效
所有攸關稽核的索引都已復原,網域也恢復為 green 狀態。客戶現在擁有一條經過端對端實際演練的還原路徑,快照驗證一旦失敗就會通知值班人員,而不是悄無聲息地等到下一次災難復原演練。