Powrót do wszystkich studiów przypadków

DoradztwoWiele branż

Płacić za moc obliczeniową, która faktycznie pracuje

Globalny dostawca usług logistycznych

Przebudowa doboru rozmiaru hurtowni, polityki auto-suspend i izolacji obciążeń, aby zużycie kredytów odpowiadało faktycznie wykonywanej pracy.

Przegląd

Wydatki dostawcy usług logistycznych na Snowflake rosły szybciej niż wolumen danych czy liczba użytkowników, a dział finansów oczekiwał wyjaśnienia przed zatwierdzeniem kolejnego zobowiązania. AceMQ przeanalizowało zużycie w odniesieniu do pracy, jaką faktycznie wykonywała każda hurtownia.

Wyzwanie

Większość wzrostu wynikała z decyzji strukturalnych, a nie z rzeczywistego zapotrzebowania. Hurtownie powiększano, aby naprawić pojedyncze wolne zapytania, i nigdy ich z powrotem nie zmniejszano. Auto-suspend był ustawiony na tyle wysoko, że hurtownie przez długi czas pozostawały bezczynne, a mimo to naliczały opłaty. Kilka zespołów współdzieliło hurtownie, więc rywalizacja o zasoby wymuszała kolejne powiększenia, z których w praktyce nikt nie korzystał.

Środowisko

Snowflake na AWS obsługujący business intelligence, transformacje dbt i analizy ad hoc w wielu zespołach.

Podejście

AceMQ zbudowało przypisanie zużycia aż do poziomu hurtowni, obciążenia i wzorca zapytań, aby decyzje można było podejmować na podstawie danych, a nie średnich. Następnie dobrano rozmiar dla każdego obciążenia na podstawie jego zmierzonego profilu, a auto-suspend dostrojono do kompromisu między opłatami za bezczynność a utrzymaniem rozgrzanego cache, zamiast pozostawiać wartość domyślną.

Rozwiązanie

  1. Zbudowanie przypisania zużycia kredytów według hurtowni, obciążenia, zespołu i wzorca zapytań
  2. Dobór rozmiaru każdej hurtowni na podstawie zmierzonych profili zapytań, a nie najgorszego zapytania, jakie kiedykolwiek na niej uruchomiono
  3. Dostrojenie auto-suspend dla każdej hurtowni do rzeczywistego kompromisu między opłatami za bezczynność a rozgrzanym cache wyników
  4. Rozdzielenie rywalizujących obciążeń na dedykowane hurtownie, dzięki czemu decyzje o rozmiarze przestały być kompromisami
  5. Zastosowanie skalowania multi-cluster wyłącznie tam, gdzie faktycznym ograniczeniem była współbieżność, a nie rozmiar zapytań
  6. Ustawienie monitorów zasobów i limitów dla poszczególnych zespołów z alertami przed osiągnięciem progów

Efekt

Zużycie kredytów wyraźnie spadło bez pogorszenia wydajności zapytań w żadnym obciążeniu, a krzywa wzrostu spłaszczyła się w stosunku do wolumenu danych. Dział finansów dysponuje teraz przypisaniem kosztów do zespołów, więc rozmowy o kosztach dotyczą konkretnych obciążeń, a nie jednej zagregowanej liczby.

Technologie

SnowflakedbtTerraformAirflow

Potrzebują Państwo doradztwa w zakresie architektury Snowflake?

Starsi inżynierowie Snowflake w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.