Przegląd
Gdy workflow Databricks zawodzi o 3 w nocy, a zależy od niego raportowanie downstream, prawdziwą pomocą jest inżynier, który potrafi odczytać log drivera i Spark UI — a nie kolejka zgłoszeń. AceMQ zapewnia przypisanych starszych inżynierów z docelowymi czasami reakcji od 15 minut, zależnie od planu; 24/7, bez pierwszej linii wsparcia (tier 1), którą trzeba by omijać.
Wyzwanie
Produkcyjne awarie zadań w Databricks rzadko mają jedną przyczynę. OOM drivera może wynikać z collect() na zbiorze danych, który urósł; kaskada awarii zadań może być skutkiem odebrania instancji spot podczas shuffle; nagły błąd importu może oznaczać, że biblioteka zainstalowana na poziomie klastra po aktualizacji runtime przesłania wersję dołączoną do DBR. Polityki ponowień w workflow mnożą następnie koszt awarii, ponownie uruchamiając kosztowne etapy w tych samych błędnych warunkach.
Środowisko
Databricks na AWS, Azure lub GCP, uruchamiający Workflows, Delta Live Tables lub zadania orkiestrowane zewnętrznie.
Podejście
Inżynierowie AceMQ pracują na podstawie logów drivera i executorów, osi czasu zdarzeń w Spark UI i historii zdarzeń klastra, aby oddzielić zdarzenie wyzwalające od leżącej u jego podstaw słabości. Najpierw następuje natychmiastowa stabilizacja — tak, aby potok przeszedł dzisiejsze nocne uruchomienie — a potem opis przyczyny źródłowej oraz zmiana konfiguracji lub kodu, która zapobiega powtórce.
Rozwiązanie
- Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez pierwszej linii wsparcia (tier 1)
- Analiza OOM drivera i executorów, w tym wzorców collect, broadcast i akumulatorów ściągających dane do drivera
- Diagnoza odbierania instancji spot i utraty węzłów wraz z zaleceniami dotyczącymi drivera on-demand i mieszanej floty workerów
- Rozwiązywanie konfliktów wersji bibliotek i DBR w instalacjach na poziomie klastra, notebooka i skryptów init
- Przegląd ponowień w workflow i zależności zadań, aby powstrzymać lawiny ponowień przy awariach, które nie są przejściowe
- Raport poincydentalny z konkretną zmianą konfiguracji lub kodu, która zapobiega ponownemu wystąpieniu
Efekt
Klienci rozwiązują produkcyjne incydenty Databricks w ciągu godzin, a nie kilku dni roboczych, a liczba powtarzających się awarii spada, ponieważ leżące u ich podstaw słabości są usuwane, a nie ponawiane.