Powrót do wszystkich studiów przypadków

Ocena środowiskaUsługi finansowe / płatności

Ustalenie, na co naprawdę idą DBU, i koniec płacenia za bezczynną moc obliczeniową

Globalny operator płatności

Dopasowanie mocy obliczeniowej Databricks przez przeniesienie zaplanowanych zadań z klastrów all-purpose oraz zaostrzenie ustawień autoskalowania, doboru instancji i limitów bezczynności.

Przegląd

Databricks rozlicza się w DBU, a ten sam notatnik, który na klastrze zadań kosztuje kilka dolarów, na interaktywnym klastrze all-purpose działającym przez cały dzień może kosztować kilka razy więcej. AceMQ audytuje rzeczywiste wykorzystanie klastrów w odniesieniu do działających na nich obciążeń i przygotowuje wyceniony plan naprawczy.

Wyzwanie

Zespoły, które zaczynały od notatników, zwykle utrzymują produkcyjne ETL na współdzielonych klastrach all-purpose, bo tak jest wygodnie. Minimalne wartości autoskalowania ustawia się wysoko, by uniknąć zimnych startów, limity bezczynności się wyłącza, żeby nikt nie stracił sesji, a polityki klastrów albo nie istnieją, albo są zbyt liberalne, by cokolwiek wymuszać. W efekcie rachunek rośnie szybciej niż wolumen danych i nie da się go jednoznacznie przypisać do zespołu ani potoku.

Środowisko

Databricks na AWS, Azure lub GCP, z obciążeniami obejmującymi notatniki, zaplanowane zadania i potoki Delta Live Tables.

Podejście

AceMQ pobiera tabele systemowe i logi zdarzeń klastrów, aby zbudować profil DBU dla każdego obciążenia, oddzielając interaktywną eksplorację od zaplanowanej pracy produkcyjnej. Każde kosztowne obciążenie jest badane pod kątem tego, czy koszt wynika z doboru mocy obliczeniowej, czasu działania czy układu danych. Następnie definiujemy polityki klastrów i konfigurację pul instancji, dzięki którym tania ścieżka staje się domyślną, zamiast polegać na dyscyplinie zespołów.

Rozwiązanie

  1. Przypisanie DBU do obciążeń, zespołów i typów klastrów na podstawie tabel systemowych i logów zdarzeń klastrów
  2. Przeniesienie zaplanowanych potoków z klastrów all-purpose na klastry zadań o efemerycznym cyklu życia
  3. Przegląd minimalnej wartości autoskalowania, limitu bezczynności i rodziny instancji, w tym przydatności Photon i instancji spot dla każdego obciążenia
  4. Polityki klastrów ograniczające typy węzłów, liczbę workerów i wersje DBR według przestrzeni roboczej i zespołu
  5. Projekt pul instancji, który zmniejsza koszt zimnych startów bez utrzymywania rozgrzanej pojemności przez noc
  6. Model tagowania i rozliczeń wewnętrznych (chargeback), dzięki któremu wydatki na platformę są przypisane do zespołu, który je wygenerował

Efekt

Klienci otrzymują uszeregowaną listę obciążeń odpowiadających za większość wydatków na DBU oraz zestaw polityk, który zapobiega powtarzaniu tego samego wzorca przez nowe prace. W większości projektów udaje się znaleźć na tyle dużo bezczynnej i przewymiarowanej mocy obliczeniowej, że wydatki na platformę spadają znacząco bez zmiany logiki choćby jednego potoku.

Technologie

DatabricksApache SparkDelta LakeTerraform

Czas na przegląd Health Check Databricks?

Starsi inżynierowie Databricks w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.