Przegląd
Broadcast join to najszybsza opcja, gdy jedna strona złączenia jest mała, i niezawodne źródło awarii produkcyjnych, gdy ta strona po cichu przestaje być mała. AceMQ zapewnia przypisanych starszych inżynierów, którzy diagnozują i usuwają takie awarie w trakcie incydentu, a nie po nim.
Wyzwanie
Tabela wymiarów przekracza próg broadcastu i albo driverowi brakuje pamięci przy jej materializacji, albo broadcast przekracza limit czasu, czekając, aż executory ją odbiorą. Nieaktualne statystyki pogarszają sprawę – optymalizator planuje broadcast na podstawie liczby wierszy zebranej przed miesiącami. Pozostawiona w kodzie jawna wskazówka broadcast pogarsza ją jeszcze bardziej, bo optymalizator nie ma swobody, by się z niej wycofać. Awaria pojawia się nagle w zadaniu, którego nikt nie ruszał.
Środowisko
Apache Spark na YARN, Kubernetes, EMR lub Databricks, wykonujący złączenia z tabelami wymiarów, które z czasem rosną.
Podejście
Inżynierowie AceMQ na podstawie planu fizycznego potwierdzają, czy podejmowana jest próba broadcastu i dlaczego, a następnie porównują rzeczywisty rozmiar strony budującej z progiem i dostępną pamięcią drivera. Doraźnym rozwiązaniem jest zwykle korekta progu, usunięcie wskazówki lub zmiana pamięci drivera; trwałą poprawką jest utrzymywanie aktualnych statystyk i przegląd wszystkich pozostałych jawnych wskazówek broadcast w kodzie.
Rozwiązanie
- Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez wstępnej selekcji przez pierwszą linię
- Przegląd planu fizycznego w celu potwierdzenia wyboru broadcastu i zmierzenia rzeczywistego rozmiaru strony budującej względem skonfigurowanego progu
- Korekta autoBroadcastJoinThreshold i broadcastTimeout z uwzględnieniem rzeczywistej pamięci drivera
- Usunięcie lub zawężenie jawnych wskazówek broadcast, które nadpisują decyzje optymalizatora niezależnie od wzrostu tabeli
- Odświeżanie statystyk i harmonogram ANALYZE TABLE, aby optymalizator planował na podstawie aktualnej liczby wierszy
- Konfiguracja Adaptive Query Execution, aby plan mógł w czasie wykonania przejść na sort-merge join
Efekt
Zadanie kończące się błędem wraca do działania tego samego dnia, a problem przestaje się powtarzać, bo statystyki są na bieżąco utrzymywane, a nieaktualne wskazówki usunięte z całego kodu, a nie tylko z zadania, które uległo awarii.