Przegląd
Dostawca usług analitycznych uruchamiał nocne ładowania ETL, które generowały znacznie większy wolumen oplogu niż ruch w stanie ustalonym. Każdy secondary, który podczas okna ładowania zostawał w tyle, wypadał poza oplog i przechodził do pełnego initial sync, który następnie konkurował z ładowaniem kolejnej nocy. AceMQ przejęło wsparcie replica setów z przypisanymi starszymi inżynierami i bezpośrednią eskalacją.
Wyzwanie
Rozmiar oplogu ustalono przy tworzeniu klastra jako domyślny procent dysku i nigdy go nie zweryfikowano. Masowe aktualizacje przepisujące całe dokumenty zwiększały wolumen oplogu daleko ponad rozmiar zmienionych pól, a jeden opóźniony secondary mógł wywołać kaskadę resynchronizacji, po której replica set przez większą część dnia roboczego nie miał zdrowej repliki do odczytu.
Środowisko
Zarządzane replica sety MongoDB na AWS z nocną ingestią wsadową z nadrzędnej hurtowni danych klinicznych.
Podejście
AceMQ zmierzyło rzeczywistą rotację oplogu w trakcie pełnego okna wsadowego, zamiast opierać się na średnich, a następnie dobrało rozmiar oplogu tak, aby z zapasem pokrywał najgorsze zaobserwowane okno. Równolegle inżynierowie przebudowali zapisy wsadowe, aby ograniczyć wzmocnienie oplogu, i przygotowali runbook, dzięki któremu dyżurni mogą przywrócić opóźniony secondary bez pełnej resynchronizacji.
Rozwiązanie
- Pomiar szczytowego tempa generowania oplogu w pełnym oknie wsadowym w celu doboru rozmiaru oplogu pod najgorszy przypadek, a nie średnią
- Zmiana rozmiaru oplogu online i weryfikacja uzyskanego okna replikacji pod obciążeniem
- Zamiana przepisywania całych dokumentów w ETL na ukierunkowane aktualizacje pól w celu ograniczenia wzmocnienia oplogu
- Rozłożenie współbieżności ładowań wsadowych tak, aby secondary nadążały za przepustowością zapisów na primary
- Przygotowanie runbooka odtwarzania obejmującego opóźnione secondary, pliki rollback i sytuacje, w których resynchronizacja jest naprawdę konieczna
- Konfiguracja alertów o opóźnieniu replikacji i oknie oplogu powiązanych ze ścieżką eskalacji 24/7
Efekt
Powtarzająca się nocna resynchronizacja została wyeliminowana, a replica set utrzymuje teraz okno replikacji liczone w dniach, a nie w godzinach. Zespół dyżurny klienta rozwiązuje większość zdarzeń opóźnienia na podstawie runbooka, bez eskalacji.