Powrót do wszystkich studiów przypadków

Usuwanie problemówWiele branż

Odtworzenie domeny, gdy snapshot, na którym Państwo polegali, nie daje się przywrócić

Dostawca usług ubezpieczeniowych

Awaryjne odtworzenie domeny OpenSearch, w której przywracanie ze snapshotów przerywało się w połowie i pozostawiało indeksy w stanie red.

Przegląd

Dostawca usług ubezpieczeniowych podczas testu DR odkrył, że jego snapshoty OpenSearch nie dają się czysto przywrócić. Kilka indeksów wróciło w stanie red, a przywracanie zostało przerwane, co oznaczało, że udokumentowany plan odtworzenia nie działał.

Wyzwanie

Repozytorium snapshotów zostało w pewnym momencie przekonfigurowane bez kroku weryfikacji repozytorium, przez co część plików segmentów była niedostępna z bieżącej ścieżki bucketu. Przywracanie wyglądało na rozpoczęte normalnie, a potem kończyło się błędem na określonych shardach. Na domiar złego domena docelowa działała na nowszej wersji silnika niż kilka starszych snapshotów, więc część indeksów była poza obsługiwanym zakresem przywracania i w ogóle nie dało się ich przywrócić bezpośrednio.

Środowisko

Zarządzana domena OpenSearch na AWS ze snapshotami przechowywanymi w magazynie obiektowym, wieloletnia retencja indeksów audytowych.

Podejście

W pierwszej kolejności potraktowaliśmy repozytorium jako podejrzane i zweryfikowaliśmy je, zanim podjęliśmy kolejne próby przywracania. Gdy wiedzieliśmy już, które snapshoty są nienaruszone, odtworzyliśmy zbiór możliwy do odzyskania, przywróciliśmy zbyt stare indeksy przez ścieżkę z wersją pośrednią, a następnie przebudowaliśmy konfigurację repozytorium tak, aby weryfikacja była częścią cyklu snapshotów, a nie tylko testu DR.

Rozwiązanie

  1. Weryfikacja każdego zarejestrowanego repozytorium w celu oddzielenia nienaruszonych snapshotów od niedostępnych
  2. Analiza statusu snapshotów shard po shardzie w celu dokładnego ustalenia, które indeksy da się odzyskać na miejscu
  3. Przywrócenie starszych indeksów przez obsługiwaną pośrednią wersję silnika i ponowne zindeksowanie ich do nowszej wersji, zamiast ich porzucania
  4. Poprawienie ścieżki repozytorium i polityki dostępu, aby nowe snapshoty były zapisywane i odczytywane z jednej, spójnej lokalizacji
  5. Dodanie automatycznej weryfikacji snapshotów i zaplanowanego testu przywracania, aby błędy ujawniały się w ciągu kilku dni, a nie podczas ćwiczeń DR
  6. Przepisanie runbooka odtwarzania zgodnie z procedurą, która faktycznie zadziałała, ze zmierzonymi czasami dla każdej warstwy indeksów

Efekt

Wszystkie indeksy krytyczne dla audytu zostały odzyskane, a domena wróciła do stanu green. Klient ma teraz ścieżkę przywracania przećwiczoną od początku do końca, a błędy weryfikacji snapshotów powiadamiają dyżurnego, zamiast pozostawać niezauważone aż do następnego testu DR.

Technologie

OpenSearchAmazon S3OpenSearch DashboardsLinux

Problem produkcyjny z OpenSearch?

Starsi inżynierowie OpenSearch w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.