Überblick
Broadcast Joins sind die schnellste Option, wenn eine Seite klein ist – und eine verlässliche Quelle für Produktionsausfälle, wenn diese Seite unbemerkt nicht mehr klein ist. AceMQ stellt namentlich zugeordnete Senior Engineers, die diese Fehler während des Incidents diagnostizieren und beheben, nicht erst danach.
Herausforderung
Eine Dimensionstabelle überschreitet den Broadcast-Schwellenwert, und entweder geht dem Driver beim Materialisieren der Speicher aus, oder der Broadcast läuft in einen Timeout, während er darauf wartet, dass die Executors ihn empfangen. Veraltete Statistiken verschärfen das Problem – der Optimizer plant einen Broadcast auf Basis einer Zeilenzahl, die vor Monaten erhoben wurde. Ein expliziter Broadcast-Hint im Code macht es noch schlimmer, weil dem Optimizer dann jeder Spielraum zum Ausweichen fehlt. Der Fehler taucht plötzlich in einem Job auf, den niemand angefasst hat.
Umgebung
Apache Spark auf YARN, Kubernetes, EMR oder Databricks mit Joins gegen Dimensionstabellen, die mit der Zeit wachsen.
Vorgehen
Die Engineers von AceMQ bestätigen anhand des physischen Plans, ob und warum ein Broadcast versucht wird, und vergleichen dann die tatsächliche Größe der Build-Seite mit dem Schwellenwert und dem verfügbaren Speicher des Drivers. Die Sofortlösung ist meist eine Korrektur des Schwellenwerts, das Entfernen eines Hints oder eine Anpassung des Driver-Speichers; die dauerhafte Lösung besteht in der Pflege der Statistiken und einem Review aller verbliebenen expliziten Broadcast-Hints in der Codebasis.
Lösung
- Reaktionszeitziele ab 15 Minuten, je nach Plan, mit namentlich zugeordneten Senior Engineers, 24/7, ohne Tier-1-Triage
- Review des physischen Plans, um die Wahl des Broadcasts zu bestätigen und die reale Größe der Build-Seite mit dem konfigurierten Schwellenwert abzugleichen
- Korrektur von autoBroadcastJoinThreshold und broadcastTimeout, abgestimmt auf den tatsächlichen Driver-Speicher
- Entfernen oder Eingrenzen expliziter Broadcast-Hints, die den Optimizer unabhängig vom Tabellenwachstum übersteuern
- Aktualisierung der Statistiken und Planung von ANALYZE TABLE, damit der Optimizer mit aktuellen Zeilenzahlen plant
- Konfiguration von Adaptive Query Execution, damit der Plan zur Laufzeit auf einen Sort-Merge-Join ausweichen kann
Resultat
Der fehlschlagende Job ist noch am selben Tag wieder in Betrieb, und das Muster wiederholt sich nicht, weil die Statistiken gepflegt und veraltete Hints in der gesamten Codebasis entfernt werden – nicht nur in dem Job, der ausgefallen ist.