Przegląd
Databricks rozlicza się w DBU, a ten sam notatnik, który na klastrze zadań kosztuje kilka dolarów, na interaktywnym klastrze all-purpose działającym przez cały dzień może kosztować kilka razy więcej. AceMQ audytuje rzeczywiste wykorzystanie klastrów w odniesieniu do działających na nich obciążeń i przygotowuje wyceniony plan naprawczy.
Wyzwanie
Zespoły, które zaczynały od notatników, zwykle utrzymują produkcyjne ETL na współdzielonych klastrach all-purpose, bo tak jest wygodnie. Minimalne wartości autoskalowania ustawia się wysoko, by uniknąć zimnych startów, limity bezczynności się wyłącza, żeby nikt nie stracił sesji, a polityki klastrów albo nie istnieją, albo są zbyt liberalne, by cokolwiek wymuszać. W efekcie rachunek rośnie szybciej niż wolumen danych i nie da się go jednoznacznie przypisać do zespołu ani potoku.
Środowisko
Databricks na AWS, Azure lub GCP, z obciążeniami obejmującymi notatniki, zaplanowane zadania i potoki Delta Live Tables.
Podejście
AceMQ pobiera tabele systemowe i logi zdarzeń klastrów, aby zbudować profil DBU dla każdego obciążenia, oddzielając interaktywną eksplorację od zaplanowanej pracy produkcyjnej. Każde kosztowne obciążenie jest badane pod kątem tego, czy koszt wynika z doboru mocy obliczeniowej, czasu działania czy układu danych. Następnie definiujemy polityki klastrów i konfigurację pul instancji, dzięki którym tania ścieżka staje się domyślną, zamiast polegać na dyscyplinie zespołów.
Rozwiązanie
- Przypisanie DBU do obciążeń, zespołów i typów klastrów na podstawie tabel systemowych i logów zdarzeń klastrów
- Przeniesienie zaplanowanych potoków z klastrów all-purpose na klastry zadań o efemerycznym cyklu życia
- Przegląd minimalnej wartości autoskalowania, limitu bezczynności i rodziny instancji, w tym przydatności Photon i instancji spot dla każdego obciążenia
- Polityki klastrów ograniczające typy węzłów, liczbę workerów i wersje DBR według przestrzeni roboczej i zespołu
- Projekt pul instancji, który zmniejsza koszt zimnych startów bez utrzymywania rozgrzanej pojemności przez noc
- Model tagowania i rozliczeń wewnętrznych (chargeback), dzięki któremu wydatki na platformę są przypisane do zespołu, który je wygenerował
Efekt
Klienci otrzymują uszeregowaną listę obciążeń odpowiadających za większość wydatków na DBU oraz zestaw polityk, który zapobiega powtarzaniu tego samego wzorca przez nowe prace. W większości projektów udaje się znaleźć na tyle dużo bezczynnej i przewymiarowanej mocy obliczeniowej, że wydatki na platformę spadają znacząco bez zmiany logiki choćby jednego potoku.