Przegląd
OOM executora w Spark to zwykle objaw, a przyczyną często jest to, że niewielka liczba kluczy złączenia lub grupowania obejmuje nieproporcjonalnie dużą część wierszy. AceMQ diagnozuje skośność bezpośrednio, zamiast zwiększać pamięć executorów, dopóki zadanie nie przestanie się wykładać.
Wyzwanie
Typowy wzorzec to złączenie po kolumnie, w której wartość zastępcza null lub domyślny identyfikator tenanta stanowi dużą część wierszy. Wszystkie te wiersze trafiają przez hash do jednej partycji, jeden executor próbuje je pomieścić i pada. Zespoły reagują, podnosząc spark.executor.memory, co opóźnia awarię i zwiększa koszt klastra, niczego nie rozwiązując. Tymczasem czas wykonania etapu jest ograniczony przez najwolniejsze zadanie, więc okno przetwarzania wciąż się wydłuża.
Środowisko
Apache Spark na YARN, Kubernetes lub Databricks, wykonujący wsadowe ETL na tabelach Hive, Delta lub Iceberg.
Podejście
AceMQ analizuje szczegóły etapów w Spark UI i logi zdarzeń, porównując rozmiar danych wejściowych poszczególnych zadań i rozkład odczytów shuffle, co od razu uwidacznia skośność. Rozwiązanie dobierane jest do danych: Adaptive Query Execution tam, gdzie pozwala na to wersja, salting dla trwale gorących kluczy, odfiltrowanie wierszy z kluczem null ze ścieżki złączenia albo broadcast tam, gdzie strona wymiarów jest rzeczywiście mała.
Rozwiązanie
- Analiza rozkładu danych wejściowych i odczytów shuffle poszczególnych zadań na podstawie logów zdarzeń w celu wskazania i zmierzenia skośnych kluczy
- Włączenie Adaptive Query Execution z progami skew join i scalania partycji dostrojonymi do zaobserwowanego rozkładu
- Salting kluczy dla trwale gorących kluczy wraz z odpowiednim przepisaniem agregacji
- Usunięcie ze ścieżki złączenia obsługi kluczy null i wartości wartowniczych tam, gdzie te wiersze nie mają znaczenia biznesowego
- Korekta wymiarowania pamięci executorów, liczby rdzeni i memory overhead dopiero po naprawie rozkładu, a nie przed nią
- Przegląd liczby partycji i miejsc wywołania repartition, aby wyeliminować zbędne pełne shuffle
Efekt
Nocne zadania, które sporadycznie kończyły się błędem OOM, wykonują się niezawodnie, a czasy etapów się wyrównują, bo żadne pojedyncze zadanie nie dźwiga całej partycji. Przydział pamięci klastra zwykle spada, a nie rośnie.