Powrót do wszystkich studiów przypadków

Wsparcie technicznePrzemysł / produkcja

Zadanie, które działało przez dwa lata – dopóki tabela słownikowa nie urosła

Producent systemów automatyki przemysłowej

Rozwiązywanie problemu zadań, które kończą się błędem, gdy tabela wymiarów przekroczy próg broadcastu, a optymalizator mimo to nadal próbuje ją rozgłaszać.

Przegląd

Broadcast join to najszybsza opcja, gdy jedna strona złączenia jest mała, i niezawodne źródło awarii produkcyjnych, gdy ta strona po cichu przestaje być mała. AceMQ zapewnia przypisanych starszych inżynierów, którzy diagnozują i usuwają takie awarie w trakcie incydentu, a nie po nim.

Wyzwanie

Tabela wymiarów przekracza próg broadcastu i albo driverowi brakuje pamięci przy jej materializacji, albo broadcast przekracza limit czasu, czekając, aż executory ją odbiorą. Nieaktualne statystyki pogarszają sprawę – optymalizator planuje broadcast na podstawie liczby wierszy zebranej przed miesiącami. Pozostawiona w kodzie jawna wskazówka broadcast pogarsza ją jeszcze bardziej, bo optymalizator nie ma swobody, by się z niej wycofać. Awaria pojawia się nagle w zadaniu, którego nikt nie ruszał.

Środowisko

Apache Spark na YARN, Kubernetes, EMR lub Databricks, wykonujący złączenia z tabelami wymiarów, które z czasem rosną.

Podejście

Inżynierowie AceMQ na podstawie planu fizycznego potwierdzają, czy podejmowana jest próba broadcastu i dlaczego, a następnie porównują rzeczywisty rozmiar strony budującej z progiem i dostępną pamięcią drivera. Doraźnym rozwiązaniem jest zwykle korekta progu, usunięcie wskazówki lub zmiana pamięci drivera; trwałą poprawką jest utrzymywanie aktualnych statystyk i przegląd wszystkich pozostałych jawnych wskazówek broadcast w kodzie.

Rozwiązanie

  1. Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez wstępnej selekcji przez pierwszą linię
  2. Przegląd planu fizycznego w celu potwierdzenia wyboru broadcastu i zmierzenia rzeczywistego rozmiaru strony budującej względem skonfigurowanego progu
  3. Korekta autoBroadcastJoinThreshold i broadcastTimeout z uwzględnieniem rzeczywistej pamięci drivera
  4. Usunięcie lub zawężenie jawnych wskazówek broadcast, które nadpisują decyzje optymalizatora niezależnie od wzrostu tabeli
  5. Odświeżanie statystyk i harmonogram ANALYZE TABLE, aby optymalizator planował na podstawie aktualnej liczby wierszy
  6. Konfiguracja Adaptive Query Execution, aby plan mógł w czasie wykonania przejść na sort-merge join

Efekt

Zadanie kończące się błędem wraca do działania tego samego dnia, a problem przestaje się powtarzać, bo statystyki są na bieżąco utrzymywane, a nieaktualne wskazówki usunięte z całego kodu, a nie tylko z zadania, które uległo awarii.

Technologie

Apache SparkDelta LakeApache Hive

Potrzebują Państwo eksperckiego wsparcia Apache Spark?

Starsi inżynierowie Apache Spark w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.