Powrót do wszystkich studiów przypadków

Wsparcie techniczneOchrona zdrowia / świadczenia

Wsparcie replica setów 24/7 z przypisanymi starszymi inżynierami i bez pierwszej linii wsparcia (tier 1)

Dostawca analityki medycznej

Stałe wsparcie dla replica setów, w których krótkie okno oplogu wymuszało podczas nocnych ładowań wsadowych powtarzające się pełne initial synci węzłów secondary.

Przegląd

Dostawca usług analitycznych uruchamiał nocne ładowania ETL, które generowały znacznie większy wolumen oplogu niż ruch w stanie ustalonym. Każdy secondary, który podczas okna ładowania zostawał w tyle, wypadał poza oplog i przechodził do pełnego initial sync, który następnie konkurował z ładowaniem kolejnej nocy. AceMQ przejęło wsparcie replica setów z przypisanymi starszymi inżynierami i bezpośrednią eskalacją.

Wyzwanie

Rozmiar oplogu ustalono przy tworzeniu klastra jako domyślny procent dysku i nigdy go nie zweryfikowano. Masowe aktualizacje przepisujące całe dokumenty zwiększały wolumen oplogu daleko ponad rozmiar zmienionych pól, a jeden opóźniony secondary mógł wywołać kaskadę resynchronizacji, po której replica set przez większą część dnia roboczego nie miał zdrowej repliki do odczytu.

Środowisko

Zarządzane replica sety MongoDB na AWS z nocną ingestią wsadową z nadrzędnej hurtowni danych klinicznych.

Podejście

AceMQ zmierzyło rzeczywistą rotację oplogu w trakcie pełnego okna wsadowego, zamiast opierać się na średnich, a następnie dobrało rozmiar oplogu tak, aby z zapasem pokrywał najgorsze zaobserwowane okno. Równolegle inżynierowie przebudowali zapisy wsadowe, aby ograniczyć wzmocnienie oplogu, i przygotowali runbook, dzięki któremu dyżurni mogą przywrócić opóźniony secondary bez pełnej resynchronizacji.

Rozwiązanie

  1. Pomiar szczytowego tempa generowania oplogu w pełnym oknie wsadowym w celu doboru rozmiaru oplogu pod najgorszy przypadek, a nie średnią
  2. Zmiana rozmiaru oplogu online i weryfikacja uzyskanego okna replikacji pod obciążeniem
  3. Zamiana przepisywania całych dokumentów w ETL na ukierunkowane aktualizacje pól w celu ograniczenia wzmocnienia oplogu
  4. Rozłożenie współbieżności ładowań wsadowych tak, aby secondary nadążały za przepustowością zapisów na primary
  5. Przygotowanie runbooka odtwarzania obejmującego opóźnione secondary, pliki rollback i sytuacje, w których resynchronizacja jest naprawdę konieczna
  6. Konfiguracja alertów o opóźnieniu replikacji i oknie oplogu powiązanych ze ścieżką eskalacji 24/7

Efekt

Powtarzająca się nocna resynchronizacja została wyeliminowana, a replica set utrzymuje teraz okno replikacji liczone w dniach, a nie w godzinach. Zespół dyżurny klienta rozwiązuje większość zdarzeń opóźnienia na podstawie runbooka, bez eskalacji.

Technologie

MongoDBKubernetesTerraformPrometheus

Potrzebują Państwo eksperckiego wsparcia MongoDB?

Starsi inżynierowie MongoDB w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.