Przegląd
Jedno nieograniczone złączenie w Trino może wyczerpać stertę workera i położyć węzły, od których zależą dziesiątki innych zapytań. AceMQ usuwa bieżącą niestabilność, a następnie wdraża mechanizmy kontroli zasobów, dzięki którym zapytanie jednego analityka nie staje się awarią dla wszystkich.
Wyzwanie
Trino pod presją pamięci zawodzi gwałtownie. Iloczyn kartezjański ze złym predykatem, broadcast join, w którym strona budująca okazała się znacznie większa, niż sugerowały statystyki, albo ORDER BY na niefiltrowanej tabeli faktów wypchnie stertę workera ponad limit i zabije JVM. Bez grup zasobów nic nie stoi między jednym zapytaniem a całym klastrem, a ponowienia pogarszają każdą kolejną próbę.
Środowisko
Starburst Enterprise na Kubernetes lub maszynach wirtualnych, obsługujący mieszane obciążenia analityczne: zapytania ad hoc i zadania zaplanowane.
Podejście
AceMQ zaczyna od logów JVM i zapytań, aby wskazać konkretne operatory i zapytania odpowiedzialne za awarie, a następnie wprowadza limity pamięci na zapytanie i na węzeł, dzięki którym problematyczne zapytanie kończy się czystym błędem zamiast zabijać workera. Spill na dysk jest konfigurowany dla złączeń i sortowań, które w uzasadniony sposób przekraczają dostępną pamięć, a grupy zasobów dzielą pojemność tak, aby zaplanowane zadania były odizolowane od eksploracji ad hoc.
Rozwiązanie
- Analiza sterty JVM, logów GC i zdarzeń zapytań w celu przypisania awarii konkretnym operatorom i kształtom zapytań
- Strojenie query.max-memory, query.max-memory-per-node i memory.heap-headroom pod rzeczywistą współbieżność
- Konfiguracja spill na dysk z odpowiednią pamięcią lokalną dla złączeń, agregacji i sortowań, które w uzasadniony sposób przekraczają pamięć
- Definicje grup zasobów oddzielające zaplanowane potoki, narzędzia BI i zapytania ad hoc analityków, z twardymi limitami współbieżności
- Przegląd dystrybucji i kolejności złączeń, w tym korekta progu broadcastu tam, gdzie statystyki wprowadzają optymalizator w błąd
- Przegląd wymiarowania koordynatora i profili węzłów workerów, z łagodnym wyłączaniem skonfigurowanym dla klastrów z autoskalowaniem
Efekt
Awarie workerów ustają, a zapytania przekraczające przydzielony limit kończą się czytelnym błędem zasobów, zamiast pociągać za sobą inne węzły. Zaplanowane potoki kończą się przewidywalnie, bo obciążenie ad hoc nie może już zająć całego klastra.