Powrót do wszystkich studiów przypadków

Usuwanie problemówTelekomunikacja

Gdy 199 zadań kończy się w minutę, a jedno trwa godzinę, problemem jest skośność danych

Operator telekomunikacyjny

Naprawa nocnych zadań, w których garść skośnych kluczy skupia dane na kilku executorach i powoduje powtarzające się awarie z powodu braku pamięci.

Przegląd

OOM executora w Spark to zwykle objaw, a przyczyną często jest to, że niewielka liczba kluczy złączenia lub grupowania obejmuje nieproporcjonalnie dużą część wierszy. AceMQ diagnozuje skośność bezpośrednio, zamiast zwiększać pamięć executorów, dopóki zadanie nie przestanie się wykładać.

Wyzwanie

Typowy wzorzec to złączenie po kolumnie, w której wartość zastępcza null lub domyślny identyfikator tenanta stanowi dużą część wierszy. Wszystkie te wiersze trafiają przez hash do jednej partycji, jeden executor próbuje je pomieścić i pada. Zespoły reagują, podnosząc spark.executor.memory, co opóźnia awarię i zwiększa koszt klastra, niczego nie rozwiązując. Tymczasem czas wykonania etapu jest ograniczony przez najwolniejsze zadanie, więc okno przetwarzania wciąż się wydłuża.

Środowisko

Apache Spark na YARN, Kubernetes lub Databricks, wykonujący wsadowe ETL na tabelach Hive, Delta lub Iceberg.

Podejście

AceMQ analizuje szczegóły etapów w Spark UI i logi zdarzeń, porównując rozmiar danych wejściowych poszczególnych zadań i rozkład odczytów shuffle, co od razu uwidacznia skośność. Rozwiązanie dobierane jest do danych: Adaptive Query Execution tam, gdzie pozwala na to wersja, salting dla trwale gorących kluczy, odfiltrowanie wierszy z kluczem null ze ścieżki złączenia albo broadcast tam, gdzie strona wymiarów jest rzeczywiście mała.

Rozwiązanie

  1. Analiza rozkładu danych wejściowych i odczytów shuffle poszczególnych zadań na podstawie logów zdarzeń w celu wskazania i zmierzenia skośnych kluczy
  2. Włączenie Adaptive Query Execution z progami skew join i scalania partycji dostrojonymi do zaobserwowanego rozkładu
  3. Salting kluczy dla trwale gorących kluczy wraz z odpowiednim przepisaniem agregacji
  4. Usunięcie ze ścieżki złączenia obsługi kluczy null i wartości wartowniczych tam, gdzie te wiersze nie mają znaczenia biznesowego
  5. Korekta wymiarowania pamięci executorów, liczby rdzeni i memory overhead dopiero po naprawie rozkładu, a nie przed nią
  6. Przegląd liczby partycji i miejsc wywołania repartition, aby wyeliminować zbędne pełne shuffle

Efekt

Nocne zadania, które sporadycznie kończyły się błędem OOM, wykonują się niezawodnie, a czasy etapów się wyrównują, bo żadne pojedyncze zadanie nie dźwiga całej partycji. Przydział pamięci klastra zwykle spada, a nie rośnie.

Technologie

Apache SparkApache HadoopDelta LakeYARN

Problem produkcyjny z Apache Spark?

Starsi inżynierowie Apache Spark w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.