Powrót do wszystkich studiów przypadków

Wsparcie techniczneWiele branż

Wsparcie techniczne Databricks 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i bez pierwszej linii wsparcia (tier 1)

Grupa usług ubezpieczeniowych

Wsparcie z przypisanymi inżynierami przy produkcyjnych awariach zadań Databricks — OOM drivera, odbieranie instancji spot, konflikty bibliotek i lawiny ponowień w workflow.

Przegląd

Gdy workflow Databricks zawodzi o 3 w nocy, a zależy od niego raportowanie downstream, prawdziwą pomocą jest inżynier, który potrafi odczytać log drivera i Spark UI — a nie kolejka zgłoszeń. AceMQ zapewnia przypisanych starszych inżynierów z docelowymi czasami reakcji od 15 minut, zależnie od planu; 24/7, bez pierwszej linii wsparcia (tier 1), którą trzeba by omijać.

Wyzwanie

Produkcyjne awarie zadań w Databricks rzadko mają jedną przyczynę. OOM drivera może wynikać z collect() na zbiorze danych, który urósł; kaskada awarii zadań może być skutkiem odebrania instancji spot podczas shuffle; nagły błąd importu może oznaczać, że biblioteka zainstalowana na poziomie klastra po aktualizacji runtime przesłania wersję dołączoną do DBR. Polityki ponowień w workflow mnożą następnie koszt awarii, ponownie uruchamiając kosztowne etapy w tych samych błędnych warunkach.

Środowisko

Databricks na AWS, Azure lub GCP, uruchamiający Workflows, Delta Live Tables lub zadania orkiestrowane zewnętrznie.

Podejście

Inżynierowie AceMQ pracują na podstawie logów drivera i executorów, osi czasu zdarzeń w Spark UI i historii zdarzeń klastra, aby oddzielić zdarzenie wyzwalające od leżącej u jego podstaw słabości. Najpierw następuje natychmiastowa stabilizacja — tak, aby potok przeszedł dzisiejsze nocne uruchomienie — a potem opis przyczyny źródłowej oraz zmiana konfiguracji lub kodu, która zapobiega powtórce.

Rozwiązanie

  1. Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez pierwszej linii wsparcia (tier 1)
  2. Analiza OOM drivera i executorów, w tym wzorców collect, broadcast i akumulatorów ściągających dane do drivera
  3. Diagnoza odbierania instancji spot i utraty węzłów wraz z zaleceniami dotyczącymi drivera on-demand i mieszanej floty workerów
  4. Rozwiązywanie konfliktów wersji bibliotek i DBR w instalacjach na poziomie klastra, notebooka i skryptów init
  5. Przegląd ponowień w workflow i zależności zadań, aby powstrzymać lawiny ponowień przy awariach, które nie są przejściowe
  6. Raport poincydentalny z konkretną zmianą konfiguracji lub kodu, która zapobiega ponownemu wystąpieniu

Efekt

Klienci rozwiązują produkcyjne incydenty Databricks w ciągu godzin, a nie kilku dni roboczych, a liczba powtarzających się awarii spada, ponieważ leżące u ich podstaw słabości są usuwane, a nie ponawiane.

Technologie

DatabricksApache SparkDelta Lake

Potrzebują Państwo eksperckiego wsparcia Databricks?

Starsi inżynierowie Databricks w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.