Powrót do wszystkich studiów przypadków

DoradztwoUsługi finansowe / płatności

Mniej shuffle — krótsze okno wsadowe

Krajowy bank detaliczny

Ograniczenie wolumenu zapisu shuffle i zrzutów na dysk w nocnych zadaniach wsadowych, tak aby okno przetwarzania mieściło się w terminie raportowania.

Przegląd

Gdy zadanie Spark spędza więcej czasu na zapisywaniu danych shuffle na dysk niż na obliczeniach, dodawanie executorów niewiele pomaga — wąskim gardłem jest I/O, którego zadanie wcale nie musiało wykonywać. AceMQ profiluje, skąd bierze się wolumen shuffle, i przebudowuje zadanie tak, by go uniknąć.

Wyzwanie

Nocne zadania wsadowe z czasem obrastają wzorcami generującymi dużo shuffle: powtarzane repartycje, złączenia wykonywane przed filtrami, szerokie agregacje na nieprzyciętych kolumnach i statyczna liczba partycji shuffle, która nie odpowiada już wolumenowi danych. Zrzuty na dysk zaczynają wtedy dominować w czasie wykonania, a ponieważ zadanie jest ograniczone przez najwolniejszy etap, okno wsadowe przesuwa się poza termin, od którego zależy raportowanie.

Środowisko

Apache Spark na YARN lub Kubernetes z nocnymi procesami wsadowymi ETL, zwykle na tabelach Hive lub Delta o rozmiarze wielu terabajtów.

Podejście

AceMQ tworzy profil wolumenu odczytu i zapisu shuffle oraz bajtów zrzucanych na dysk na poziomie etapów, co pozwala wskazać niewielką liczbę etapów odpowiedzialnych za większość I/O. Następnie te etapy są poprawiane strukturalnie — przez wypychanie predykatów i projekcji, zmianę kolejności złączeń i usuwanie zbędnych repartycji — zanim nastąpi jakiekolwiek strojenie konfiguracji. Rozmiar partycji i ustawienia serializacji są dostosowywane na końcu, pod poprawiony kształt zadania.

Rozwiązanie

  1. Profilowanie odczytu, zapisu shuffle i spill na poziomie etapów w celu wskazania etapów wyznaczających okno wsadowe
  2. Przycinanie predykatów i kolumn przed złączeniami, aby shuffle przenosiły mniej danych
  3. Usunięcie zbędnych wywołań repartition i coalesce, które wymuszają pełny shuffle bez żadnej korzyści
  4. Dobór shuffle.partitions i scalania w Adaptive Query Execution do rzeczywistego wolumenu danych na partycję
  5. Dostosowanie serializacji Kryo, kodeka kompresji i buforów shuffle pod poprawiony kształt zadania
  6. Przegląd zewnętrznej usługi shuffle i układu dysków lokalnych, w tym dedykowanych wolumenów na spill tam, gdzie występuje rywalizacja o I/O

Efekt

Klienci zwykle skracają nocne okno wsadowe dla poprawionych zadań mniej więcej o jedną trzecią, przy czym największe zyski przynoszą zmiany strukturalne, a nie konfiguracja. Okno przestaje się wydłużać, ponieważ wolumen shuffle nie rośnie już wraz z każdym przyrostem danych.

Technologie

Apache SparkApache HadoopYARNApache Hive

Potrzebują Państwo doradztwa w zakresie architektury Apache Spark?

Starsi inżynierowie Apache Spark w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.