Przegląd
Wydatki dostawcy usług logistycznych na Snowflake rosły szybciej niż wolumen danych czy liczba użytkowników, a dział finansów oczekiwał wyjaśnienia przed zatwierdzeniem kolejnego zobowiązania. AceMQ przeanalizowało zużycie w odniesieniu do pracy, jaką faktycznie wykonywała każda hurtownia.
Wyzwanie
Większość wzrostu wynikała z decyzji strukturalnych, a nie z rzeczywistego zapotrzebowania. Hurtownie powiększano, aby naprawić pojedyncze wolne zapytania, i nigdy ich z powrotem nie zmniejszano. Auto-suspend był ustawiony na tyle wysoko, że hurtownie przez długi czas pozostawały bezczynne, a mimo to naliczały opłaty. Kilka zespołów współdzieliło hurtownie, więc rywalizacja o zasoby wymuszała kolejne powiększenia, z których w praktyce nikt nie korzystał.
Środowisko
Snowflake na AWS obsługujący business intelligence, transformacje dbt i analizy ad hoc w wielu zespołach.
Podejście
AceMQ zbudowało przypisanie zużycia aż do poziomu hurtowni, obciążenia i wzorca zapytań, aby decyzje można było podejmować na podstawie danych, a nie średnich. Następnie dobrano rozmiar dla każdego obciążenia na podstawie jego zmierzonego profilu, a auto-suspend dostrojono do kompromisu między opłatami za bezczynność a utrzymaniem rozgrzanego cache, zamiast pozostawiać wartość domyślną.
Rozwiązanie
- Zbudowanie przypisania zużycia kredytów według hurtowni, obciążenia, zespołu i wzorca zapytań
- Dobór rozmiaru każdej hurtowni na podstawie zmierzonych profili zapytań, a nie najgorszego zapytania, jakie kiedykolwiek na niej uruchomiono
- Dostrojenie auto-suspend dla każdej hurtowni do rzeczywistego kompromisu między opłatami za bezczynność a rozgrzanym cache wyników
- Rozdzielenie rywalizujących obciążeń na dedykowane hurtownie, dzięki czemu decyzje o rozmiarze przestały być kompromisami
- Zastosowanie skalowania multi-cluster wyłącznie tam, gdzie faktycznym ograniczeniem była współbieżność, a nie rozmiar zapytań
- Ustawienie monitorów zasobów i limitów dla poszczególnych zespołów z alertami przed osiągnięciem progów
Efekt
Zużycie kredytów wyraźnie spadło bez pogorszenia wydajności zapytań w żadnym obciążeniu, a krzywa wzrostu spłaszczyła się w stosunku do wolumenu danych. Dział finansów dysponuje teraz przypisaniem kosztów do zespołów, więc rozmowy o kosztach dotyczą konkretnych obciążeń, a nie jednej zagregowanej liczby.