概要
ある保険サービス企業は、DRテストの最中に、OpenSearchのスナップショットが正常にリストアできないことに気づきました。複数のインデックスがredの状態で戻り、リストアは中断されました。つまり、文書化されていた復旧計画は機能しなかったのです。
課題
スナップショットリポジトリは、ある時点でリポジトリの検証手順を経ずに再設定されていたため、セグメントファイルの一部に現在のバケットのパスからアクセスできなくなっていました。リストアは一見正常に始まり、その後特定のシャードで失敗していました。さらに悪いことに、リストア先のドメインは古いスナップショットのいくつかよりも新しいエンジンバージョンで動いていたため、一部のインデックスはサポートされるリストアの範囲外となり、直接リストアすることがまったくできませんでした。
環境
AWS上のマネージドOpenSearchドメイン。スナップショットはオブジェクトストレージに保存され、監査用インデックスは複数年にわたって保持。
アプローチ
まずリポジトリを疑い、それ以上リストアを試みる前に検証を行いました。どのスナップショットが無傷かを把握したうえで、復旧可能なセットを再構成し、古すぎるインデックスは中間バージョンを経由してリストアしました。そのうえで、検証がDRテストのときだけでなくスナップショットのサイクルの一部として実行されるよう、リポジトリの設定を作り直しました。
ソリューション
- 登録済みのすべてのリポジトリに対してリポジトリの検証を実行し、無傷のスナップショットとアクセスできないスナップショットを切り分け
- スナップショットのステータスをシャード単位で調べ、その場で復旧可能なインデックスを正確に特定
- 古いインデックスは、見捨てるのではなく、サポート対象の中間エンジンバージョンを経由してリストアし、新しいバージョンへ再インデックス
- 新しいスナップショットの書き込みと読み込みが一貫した1つの場所で行われるよう、リポジトリのパスとアクセスポリシーを修正
- スナップショットの自動検証と定期的なリストアテストを追加し、障害がDR訓練の最中ではなく数日以内に表面化するように
- 実際に機能した手順に基づいて復旧のRunbookを書き直し、インデックスの階層ごとに実測した所要時間を記載
結果
監査上重要なインデックスはすべて復旧し、ドメインはgreenに戻りました。お客様は、エンドツーエンドで実際に試したリストアの手順を手にし、スナップショットの検証が失敗すれば、次のDRテストまで気づかれないままになるのではなく、オンコール担当者が呼び出されるようになりました。