Powrót do wszystkich studiów przypadków

Usuwanie problemówUsługi finansowe / płatności

Jedno złe zapytanie nie może kłaść całego klastra Trino

Globalny operator płatności

Powstrzymanie awarii workerów spowodowanych nieograniczonymi złączeniami, brakiem konfiguracji spill i limitami pamięci niedopasowanymi do współbieżności, z jaką klaster faktycznie pracuje.

Przegląd

Jedno nieograniczone złączenie w Trino może wyczerpać stertę workera i położyć węzły, od których zależą dziesiątki innych zapytań. AceMQ usuwa bieżącą niestabilność, a następnie wdraża mechanizmy kontroli zasobów, dzięki którym zapytanie jednego analityka nie staje się awarią dla wszystkich.

Wyzwanie

Trino pod presją pamięci zawodzi gwałtownie. Iloczyn kartezjański ze złym predykatem, broadcast join, w którym strona budująca okazała się znacznie większa, niż sugerowały statystyki, albo ORDER BY na niefiltrowanej tabeli faktów wypchnie stertę workera ponad limit i zabije JVM. Bez grup zasobów nic nie stoi między jednym zapytaniem a całym klastrem, a ponowienia pogarszają każdą kolejną próbę.

Środowisko

Starburst Enterprise na Kubernetes lub maszynach wirtualnych, obsługujący mieszane obciążenia analityczne: zapytania ad hoc i zadania zaplanowane.

Podejście

AceMQ zaczyna od logów JVM i zapytań, aby wskazać konkretne operatory i zapytania odpowiedzialne za awarie, a następnie wprowadza limity pamięci na zapytanie i na węzeł, dzięki którym problematyczne zapytanie kończy się czystym błędem zamiast zabijać workera. Spill na dysk jest konfigurowany dla złączeń i sortowań, które w uzasadniony sposób przekraczają dostępną pamięć, a grupy zasobów dzielą pojemność tak, aby zaplanowane zadania były odizolowane od eksploracji ad hoc.

Rozwiązanie

  1. Analiza sterty JVM, logów GC i zdarzeń zapytań w celu przypisania awarii konkretnym operatorom i kształtom zapytań
  2. Strojenie query.max-memory, query.max-memory-per-node i memory.heap-headroom pod rzeczywistą współbieżność
  3. Konfiguracja spill na dysk z odpowiednią pamięcią lokalną dla złączeń, agregacji i sortowań, które w uzasadniony sposób przekraczają pamięć
  4. Definicje grup zasobów oddzielające zaplanowane potoki, narzędzia BI i zapytania ad hoc analityków, z twardymi limitami współbieżności
  5. Przegląd dystrybucji i kolejności złączeń, w tym korekta progu broadcastu tam, gdzie statystyki wprowadzają optymalizator w błąd
  6. Przegląd wymiarowania koordynatora i profili węzłów workerów, z łagodnym wyłączaniem skonfigurowanym dla klastrów z autoskalowaniem

Efekt

Awarie workerów ustają, a zapytania przekraczające przydzielony limit kończą się czytelnym błędem zasobów, zamiast pociągać za sobą inne węzły. Zaplanowane potoki kończą się przewidywalnie, bo obciążenie ad hoc nie może już zająć całego klastra.

Technologie

StarburstTrinoKubernetesDelta Lake

Problem produkcyjny z Starburst?

Starsi inżynierowie Starburst w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.