返回所有使用案例

問題修復跨產業

當您倚賴的快照無法還原時,如何救回網域

保險服務供應商

緊急復原一個 OpenSearch 網域:快照還原進行到一半就失敗,導致索引停留在 red 狀態。

概覽

一家保險服務供應商在災難復原演練中發現,他們的 OpenSearch 快照無法順利還原。數個索引還原後呈現 red 狀態,還原作業隨即中止,這代表他們白紙黑字寫下的復原計畫根本行不通。

挑戰

快照儲存庫曾在某個時間點被重新設定,卻沒有執行儲存庫驗證步驟,導致部分區段檔案無法從目前的儲存桶路徑存取。還原作業看似正常開始,接著在特定分片上失敗。雪上加霜的是,目標網域執行的引擎版本比好幾份較舊的快照還新,因此部分索引超出支援的還原範圍,完全無法直接還原。

環境

AWS 上的託管 OpenSearch 網域,快照存放於物件儲存;稽核索引保留多年。

做法

我們首先將儲存庫視為可疑對象,在嘗試任何進一步還原之前先完成驗證。確認哪些快照完好之後,我們重建出可復原的集合,透過中間版本的路徑還原過舊的索引,再重建儲存庫設定,讓驗證成為快照週期的一部分,而不是只在災難復原演練時才執行。

解決方案

  1. 對每一個已註冊的儲存庫執行儲存庫驗證,區分完好的快照與無法存取的快照
  2. 逐一分片檢查快照狀態,精確找出哪些索引可以就地復原
  3. 較舊的索引透過受支援的中間引擎版本還原,再重新索引至新版本,而不是直接放棄
  4. 修正儲存庫路徑與存取政策,讓新快照統一寫入並讀取同一個一致的位置
  5. 加入自動化快照驗證與排程還原測試,讓失敗能在幾天內浮現,而不是等到災難復原演練時才發現
  6. 依實際可行的程序重寫復原操作手冊,並附上各索引層級的實測時間

成效

所有攸關稽核的索引都已復原,網域也恢復為 green 狀態。客戶現在擁有一條經過端對端實際演練的還原路徑,快照驗證一旦失敗就會通知值班人員,而不是悄無聲息地等到下一次災難復原演練。

技術

OpenSearchAmazon S3OpenSearch DashboardsLinux

正面臨 OpenSearch 正式環境問題嗎?

AceMQ 的資深 OpenSearch 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。