Powrót do wszystkich studiów przypadków

Wsparcie techniczneOprogramowanie / platformy cyfrowe

Przypisani starsi inżynierowie w gotowości, gdy heap świeci na czerwono

Dostawca platformy obserwowalności SaaS

Stałe wsparcie techniczne 24/7 dla środowiska Elasticsearch, w którym przy obciążeniu agregacjami wielokrotnie zadziałał parent circuit breaker i występowały długie pauzy odśmiecania pamięci.

Przegląd

Wielonajemcowy dostawca analityki tracił węzły z powodu długich pauz stop-the-world odśmiecania pamięci podczas odświeżania dashboardów udostępnianych klientom. AceMQ zapewnia ciągłe wsparcie z docelowymi czasami reakcji od 15 minut, zależnie od planu, i przypisanymi starszymi inżynierami, którzy już znają topologię klastra.

Wyzwanie

Wyjątki parent circuit breaker objawiały się jako nieudane wyszukiwania u tego najemcy, który akurat wysyłał zapytanie, przez co problem wyglądał na losowy. Głębokie agregacje terms na polach o wysokiej kardynalności i nieograniczone kubełki date-histogram wciągały do heap duże ilości field data, a kilka zbyt dużych zapytań mogło przepchnąć węzeł ponad próg breakera i wywołać pauzę GC na tyle długą, że master usuwał go z klastra.

Środowisko

Elasticsearch na Kubernetes w trzech strefach dostępności, mieszane obciążenie zapytaniami najemców, dashboardy odświeżane w krótkich odstępach.

Podejście

Wsparcie zaczynamy od analizy hot threads i logów GC w trakcie trwającego incydentu, a nie od podsumowania post-mortem. Korelujemy zadziałania breakera ze slow logiem, aby wskazać konkretne kształty zapytań odpowiedzialne za problem, a następnie razem z inżynierami klienta ograniczamy je na poziomie API, zamiast po prostu podnosić limity breakera.

Rozwiązanie

  1. Reagowanie na incydenty 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i bez pierwszej linii wsparcia (tier 1) między klientem a starszym inżynierem
  2. Analiza hot threads, logów GC i statystyk węzłów zbieranych podczas trwających zdarzeń breakera, a nie odtwarzanych po fakcie
  3. Strojenie search slow log w celu ujawnienia kształtów agregacji, które faktycznie powodują wzrost zużycia heap
  4. Wskazówki dotyczące ograniczania rozmiaru agregacji terms, dodawania limitów search.max_buckets i stosowania agregacji composite przy głębokiej paginacji
  5. Przegląd rozmiaru field data i query cache w odniesieniu do rzeczywistego obciążenia, a nie wartości domyślnych
  6. Procedury restartu kroczącego i wymiany węzłów zweryfikowane wspólnie z klientem w oknach serwisowych

Efekt

Liczba nieudanych wyszukiwań związanych z breakerem spadła do niewielkiego ułamka wcześniejszego poziomu, a klaster przestał tracić węzły w godzinach szczytu korzystania z dashboardów. Inżynierowie klienta sami wychwytują teraz większość problematycznych zapytań na etapie przeglądu, ponieważ wiedzą, jak wygląda sygnatura awarii.

Technologie

ElasticsearchKibanaKubernetesJava

Potrzebują Państwo eksperckiego wsparcia Elasticsearch?

Starsi inżynierowie Elasticsearch w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.