Przegląd
Platforma płatnicza straciła węzeł danych w wyniku awarii sprzętu, a klaster nigdy nie wrócił do stanu green. Shardy replik przez wiele dni pozostawały nieprzydzielone, a ruch wyszukiwania działał na pojedynczych kopiach, przez co indeks dzieliła jedna awaria od rzeczywistej utraty danych.
Wyzwanie
Pozostałe węzły przekroczyły próg dysku flood-stage, więc Elasticsearch nałożył na indeksy blokadę read-only-allow-delete i odmówił przydzielenia brakujących replik. Wynik allocation explain wskazywał na watermark, ale zespół nie mógł zwolnić miejsca, bo blokada uniemożliwiała też zaplanowane czyszczenie przez delete-by-query. Tymczasem translog na gorących indeksach nadal rósł.
Środowisko
Klaster Elasticsearch liczący około 20 węzłów danych na bare metal, z warstwami hot-warm i kilkoma TB zaindeksowanych danych transakcyjnych i audytowych.
Podejście
Inżynierowie AceMQ zaczęli od API allocation explain, zamiast zgadywać, a następnie zmniejszali presję na dyski w kolejności, która pozwoliła bezpiecznie zdjąć blokadę. Przenieśliśmy starsze indeksy do warstwy warm, wykonaliśmy force merge segmentów tylko do odczytu, aby odzyskać miejsce po usuniętych dokumentach, a potem zdjęliśmy blokadę indeksów i pozwoliliśmy na wznowienie alokacji z ograniczonym tempem odtwarzania, aby klaster nie wysycił własnej sieci podczas odbudowy.
Rozwiązanie
- Odczytanie wyniku cluster allocation explain dla każdego nieprzydzielonego sharda, aby potwierdzić, że przeszkodą jest watermark, a nie uszkodzenie danych
- Przeniesienie starszych indeksów na węzły warstwy warm i force merge indeksów tylko do odczytu w celu odzyskania miejsca po usuniętych dokumentach
- Zdjęcie blokady read-only-allow-delete dopiero po odzyskaniu zapasu miejsca, aby uniknąć ponownego przekroczenia progu flood-stage
- Ograniczenie indices.recovery.max_bytes_per_sec podczas odbudowy, aby odtwarzanie replik nie głodziło bieżącego ruchu zapytań
- Ustawienie jawnych progów low/high/flood z realistycznym zapasem i dodanie alertów dyskowych wyprzedzających próg high
- Udokumentowanie runbooka odtwarzania, dzięki któremu dyżurni klienta mogą usunąć ten sam stan bez eskalacji
Efekt
Klaster wrócił do stanu green ze wszystkimi replikami przydzielonymi i bez utraty żadnego indeksu. Ponieważ alerty dotyczące progów uruchamiają się teraz dużo wcześniej niż flood-stage, klient nie trafił ponownie na blokadę tylko do odczytu, a wymiana węzła jest dziś rutynową czynnością serwisową, a nie incydentem.