Przegląd
Gdy zadanie Spark spędza więcej czasu na zapisywaniu danych shuffle na dysk niż na obliczeniach, dodawanie executorów niewiele pomaga — wąskim gardłem jest I/O, którego zadanie wcale nie musiało wykonywać. AceMQ profiluje, skąd bierze się wolumen shuffle, i przebudowuje zadanie tak, by go uniknąć.
Wyzwanie
Nocne zadania wsadowe z czasem obrastają wzorcami generującymi dużo shuffle: powtarzane repartycje, złączenia wykonywane przed filtrami, szerokie agregacje na nieprzyciętych kolumnach i statyczna liczba partycji shuffle, która nie odpowiada już wolumenowi danych. Zrzuty na dysk zaczynają wtedy dominować w czasie wykonania, a ponieważ zadanie jest ograniczone przez najwolniejszy etap, okno wsadowe przesuwa się poza termin, od którego zależy raportowanie.
Środowisko
Apache Spark na YARN lub Kubernetes z nocnymi procesami wsadowymi ETL, zwykle na tabelach Hive lub Delta o rozmiarze wielu terabajtów.
Podejście
AceMQ tworzy profil wolumenu odczytu i zapisu shuffle oraz bajtów zrzucanych na dysk na poziomie etapów, co pozwala wskazać niewielką liczbę etapów odpowiedzialnych za większość I/O. Następnie te etapy są poprawiane strukturalnie — przez wypychanie predykatów i projekcji, zmianę kolejności złączeń i usuwanie zbędnych repartycji — zanim nastąpi jakiekolwiek strojenie konfiguracji. Rozmiar partycji i ustawienia serializacji są dostosowywane na końcu, pod poprawiony kształt zadania.
Rozwiązanie
- Profilowanie odczytu, zapisu shuffle i spill na poziomie etapów w celu wskazania etapów wyznaczających okno wsadowe
- Przycinanie predykatów i kolumn przed złączeniami, aby shuffle przenosiły mniej danych
- Usunięcie zbędnych wywołań repartition i coalesce, które wymuszają pełny shuffle bez żadnej korzyści
- Dobór shuffle.partitions i scalania w Adaptive Query Execution do rzeczywistego wolumenu danych na partycję
- Dostosowanie serializacji Kryo, kodeka kompresji i buforów shuffle pod poprawiony kształt zadania
- Przegląd zewnętrznej usługi shuffle i układu dysków lokalnych, w tym dedykowanych wolumenów na spill tam, gdzie występuje rywalizacja o I/O
Efekt
Klienci zwykle skracają nocne okno wsadowe dla poprawionych zadań mniej więcej o jedną trzecią, przy czym największe zyski przynoszą zmiany strukturalne, a nie konfiguracja. Okno przestaje się wydłużać, ponieważ wolumen shuffle nie rośnie już wraz z każdym przyrostem danych.