Przegląd
Wielonajemcowy dostawca analityki tracił węzły z powodu długich pauz stop-the-world odśmiecania pamięci podczas odświeżania dashboardów udostępnianych klientom. AceMQ zapewnia ciągłe wsparcie z docelowymi czasami reakcji od 15 minut, zależnie od planu, i przypisanymi starszymi inżynierami, którzy już znają topologię klastra.
Wyzwanie
Wyjątki parent circuit breaker objawiały się jako nieudane wyszukiwania u tego najemcy, który akurat wysyłał zapytanie, przez co problem wyglądał na losowy. Głębokie agregacje terms na polach o wysokiej kardynalności i nieograniczone kubełki date-histogram wciągały do heap duże ilości field data, a kilka zbyt dużych zapytań mogło przepchnąć węzeł ponad próg breakera i wywołać pauzę GC na tyle długą, że master usuwał go z klastra.
Środowisko
Elasticsearch na Kubernetes w trzech strefach dostępności, mieszane obciążenie zapytaniami najemców, dashboardy odświeżane w krótkich odstępach.
Podejście
Wsparcie zaczynamy od analizy hot threads i logów GC w trakcie trwającego incydentu, a nie od podsumowania post-mortem. Korelujemy zadziałania breakera ze slow logiem, aby wskazać konkretne kształty zapytań odpowiedzialne za problem, a następnie razem z inżynierami klienta ograniczamy je na poziomie API, zamiast po prostu podnosić limity breakera.
Rozwiązanie
- Reagowanie na incydenty 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i bez pierwszej linii wsparcia (tier 1) między klientem a starszym inżynierem
- Analiza hot threads, logów GC i statystyk węzłów zbieranych podczas trwających zdarzeń breakera, a nie odtwarzanych po fakcie
- Strojenie search slow log w celu ujawnienia kształtów agregacji, które faktycznie powodują wzrost zużycia heap
- Wskazówki dotyczące ograniczania rozmiaru agregacji terms, dodawania limitów search.max_buckets i stosowania agregacji composite przy głębokiej paginacji
- Przegląd rozmiaru field data i query cache w odniesieniu do rzeczywistego obciążenia, a nie wartości domyślnych
- Procedury restartu kroczącego i wymiany węzłów zweryfikowane wspólnie z klientem w oknach serwisowych
Efekt
Liczba nieudanych wyszukiwań związanych z breakerem spadła do niewielkiego ułamka wcześniejszego poziomu, a klaster przestał tracić węzły w godzinach szczytu korzystania z dashboardów. Inżynierowie klienta sami wychwytują teraz większość problematycznych zapytań na etapie przeglądu, ponieważ wiedzą, jak wygląda sygnatura awarii.