Przegląd
Dostawca danych rynkowych miał tabele liczące dziesiątki miliardów wierszy, w których koszt zapytań wzrósł nieproporcjonalnie do rozmiaru wyników. Klucze klastrowania zdefiniowano przed laty pod wzorce zapytań, które od tamtej pory się zmieniły. AceMQ oceniło skuteczność przycinania w największych tabelach.
Wyzwanie
Zarówno wydajność, jak i koszt Snowflake sprowadzają się do tego, ile mikropartycji musi przeskanować zapytanie. Gdy klucze klastrowania przestają odpowiadać predykatom filtrów, przycinanie po cichu się pogarsza — zapytania nadal zwracają poprawne wyniki, skanując coraz więcej danych. Automatyczne klastrowanie ma też własny koszt w kredytach, który trzeba zestawić ze skanowaniem, którego pozwala uniknąć.
Środowisko
Snowflake na Azure z wieloletnimi danymi tickowymi i referencyjnymi, odpytywanymi przez obciążenia badawcze i raportowe.
Podejście
AceMQ zmierzyło stosunek przeskanowanych partycji do ich łącznej liczby dla dominujących wzorców zapytań w każdej dużej tabeli, co bezpośrednio pokazuje skuteczność przycinania. Kandydujące klucze klastrowania oceniono następnie zarówno pod kątem skanowania, którego pozwolą uniknąć, jak i kredytów, które pochłonie ponowne klastrowanie.
Rozwiązanie
- Pomiar liczby przeskanowanych partycji względem łącznej liczby partycji dla każdego wzorca zapytań w celu określenia rzeczywistej skuteczności przycinania
- Porównanie obecnych kluczy klastrowania z predykatami filtrów używanymi w zapytaniach dziś, a nie w momencie projektowania
- Ocena kandydujących kluczy klastrowania zarówno pod kątem redukcji skanowania, jak i bieżącego kosztu ponownego klastrowania w kredytach
- Ocena głębokości klastrowania w największych tabelach w celu wskazania miejsc, w których ponowne klastrowanie nie nadążało
- Przegląd projektu tabel pod kątem przypadków, w których tabele partycjonowane lub search optimization sprawdzą się lepiej niż klastrowanie
- Rekomendacje dla każdej tabeli z określoną oczekiwaną redukcją skanowania i wpływem na kredyty
Efekt
Dostawca otrzymał obraz tego, w których tabelach przycinanie się pogorszyło i ile to kosztowało, wraz z rekomendacjami zestawionymi z kosztem ponownego klastrowania w kredytach, a nie przedstawionymi jako darmowe. Priorytet nadano największym tabelom, w których przywrócenie przycinania znacząco zmniejszyło liczbę skanowanych partycji.