Przegląd
Dostawca usług ubezpieczeniowych podczas testu DR odkrył, że jego snapshoty OpenSearch nie dają się czysto przywrócić. Kilka indeksów wróciło w stanie red, a przywracanie zostało przerwane, co oznaczało, że udokumentowany plan odtworzenia nie działał.
Wyzwanie
Repozytorium snapshotów zostało w pewnym momencie przekonfigurowane bez kroku weryfikacji repozytorium, przez co część plików segmentów była niedostępna z bieżącej ścieżki bucketu. Przywracanie wyglądało na rozpoczęte normalnie, a potem kończyło się błędem na określonych shardach. Na domiar złego domena docelowa działała na nowszej wersji silnika niż kilka starszych snapshotów, więc część indeksów była poza obsługiwanym zakresem przywracania i w ogóle nie dało się ich przywrócić bezpośrednio.
Środowisko
Zarządzana domena OpenSearch na AWS ze snapshotami przechowywanymi w magazynie obiektowym, wieloletnia retencja indeksów audytowych.
Podejście
W pierwszej kolejności potraktowaliśmy repozytorium jako podejrzane i zweryfikowaliśmy je, zanim podjęliśmy kolejne próby przywracania. Gdy wiedzieliśmy już, które snapshoty są nienaruszone, odtworzyliśmy zbiór możliwy do odzyskania, przywróciliśmy zbyt stare indeksy przez ścieżkę z wersją pośrednią, a następnie przebudowaliśmy konfigurację repozytorium tak, aby weryfikacja była częścią cyklu snapshotów, a nie tylko testu DR.
Rozwiązanie
- Weryfikacja każdego zarejestrowanego repozytorium w celu oddzielenia nienaruszonych snapshotów od niedostępnych
- Analiza statusu snapshotów shard po shardzie w celu dokładnego ustalenia, które indeksy da się odzyskać na miejscu
- Przywrócenie starszych indeksów przez obsługiwaną pośrednią wersję silnika i ponowne zindeksowanie ich do nowszej wersji, zamiast ich porzucania
- Poprawienie ścieżki repozytorium i polityki dostępu, aby nowe snapshoty były zapisywane i odczytywane z jednej, spójnej lokalizacji
- Dodanie automatycznej weryfikacji snapshotów i zaplanowanego testu przywracania, aby błędy ujawniały się w ciągu kilku dni, a nie podczas ćwiczeń DR
- Przepisanie runbooka odtwarzania zgodnie z procedurą, która faktycznie zadziałała, ze zmierzonymi czasami dla każdej warstwy indeksów
Efekt
Wszystkie indeksy krytyczne dla audytu zostały odzyskane, a domena wróciła do stanu green. Klient ma teraz ścieżkę przywracania przećwiczoną od początku do końca, a błędy weryfikacji snapshotów powiadamiają dyżurnego, zamiast pozostawać niezauważone aż do następnego testu DR.