Powrót do wszystkich studiów przypadków

Usuwanie problemówUsługi finansowe / płatności

Przywrócenie zablokowanego klastra Elasticsearch do stanu green bez utraty danych

Globalny operator płatności

Awaryjna naprawa klastra Elasticsearch, który po awarii węzła danych nie wracał do stanu green, ponieważ progi zapełnienia dysku (watermarks) blokowały przydział replik.

Przegląd

Platforma płatnicza straciła węzeł danych w wyniku awarii sprzętu, a klaster nigdy nie wrócił do stanu green. Shardy replik przez wiele dni pozostawały nieprzydzielone, a ruch wyszukiwania działał na pojedynczych kopiach, przez co indeks dzieliła jedna awaria od rzeczywistej utraty danych.

Wyzwanie

Pozostałe węzły przekroczyły próg dysku flood-stage, więc Elasticsearch nałożył na indeksy blokadę read-only-allow-delete i odmówił przydzielenia brakujących replik. Wynik allocation explain wskazywał na watermark, ale zespół nie mógł zwolnić miejsca, bo blokada uniemożliwiała też zaplanowane czyszczenie przez delete-by-query. Tymczasem translog na gorących indeksach nadal rósł.

Środowisko

Klaster Elasticsearch liczący około 20 węzłów danych na bare metal, z warstwami hot-warm i kilkoma TB zaindeksowanych danych transakcyjnych i audytowych.

Podejście

Inżynierowie AceMQ zaczęli od API allocation explain, zamiast zgadywać, a następnie zmniejszali presję na dyski w kolejności, która pozwoliła bezpiecznie zdjąć blokadę. Przenieśliśmy starsze indeksy do warstwy warm, wykonaliśmy force merge segmentów tylko do odczytu, aby odzyskać miejsce po usuniętych dokumentach, a potem zdjęliśmy blokadę indeksów i pozwoliliśmy na wznowienie alokacji z ograniczonym tempem odtwarzania, aby klaster nie wysycił własnej sieci podczas odbudowy.

Rozwiązanie

  1. Odczytanie wyniku cluster allocation explain dla każdego nieprzydzielonego sharda, aby potwierdzić, że przeszkodą jest watermark, a nie uszkodzenie danych
  2. Przeniesienie starszych indeksów na węzły warstwy warm i force merge indeksów tylko do odczytu w celu odzyskania miejsca po usuniętych dokumentach
  3. Zdjęcie blokady read-only-allow-delete dopiero po odzyskaniu zapasu miejsca, aby uniknąć ponownego przekroczenia progu flood-stage
  4. Ograniczenie indices.recovery.max_bytes_per_sec podczas odbudowy, aby odtwarzanie replik nie głodziło bieżącego ruchu zapytań
  5. Ustawienie jawnych progów low/high/flood z realistycznym zapasem i dodanie alertów dyskowych wyprzedzających próg high
  6. Udokumentowanie runbooka odtwarzania, dzięki któremu dyżurni klienta mogą usunąć ten sam stan bez eskalacji

Efekt

Klaster wrócił do stanu green ze wszystkimi replikami przydzielonymi i bez utraty żadnego indeksu. Ponieważ alerty dotyczące progów uruchamiają się teraz dużo wcześniej niż flood-stage, klient nie trafił ponownie na blokadę tylko do odczytu, a wymiana węzła jest dziś rutynową czynnością serwisową, a nie incydentem.

Technologie

ElasticsearchKibanaLinuxKubernetes

Problem produkcyjny z Elasticsearch?

Starsi inżynierowie Elasticsearch w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.