Powrót do wszystkich studiów przypadków

Ocena środowiskaUsługi finansowe / obrót instrumentami

Ile każdej tabeli Państwa zapytania naprawdę czytają

Dostawca danych z rynków finansowych

Ocena kluczy klastrowania, przycinania mikropartycji (pruning) i projektu tabel w dużych tabelach, w których zapytania zaczęły skanować większość danych.

Przegląd

Dostawca danych rynkowych miał tabele liczące dziesiątki miliardów wierszy, w których koszt zapytań wzrósł nieproporcjonalnie do rozmiaru wyników. Klucze klastrowania zdefiniowano przed laty pod wzorce zapytań, które od tamtej pory się zmieniły. AceMQ oceniło skuteczność przycinania w największych tabelach.

Wyzwanie

Zarówno wydajność, jak i koszt Snowflake sprowadzają się do tego, ile mikropartycji musi przeskanować zapytanie. Gdy klucze klastrowania przestają odpowiadać predykatom filtrów, przycinanie po cichu się pogarsza — zapytania nadal zwracają poprawne wyniki, skanując coraz więcej danych. Automatyczne klastrowanie ma też własny koszt w kredytach, który trzeba zestawić ze skanowaniem, którego pozwala uniknąć.

Środowisko

Snowflake na Azure z wieloletnimi danymi tickowymi i referencyjnymi, odpytywanymi przez obciążenia badawcze i raportowe.

Podejście

AceMQ zmierzyło stosunek przeskanowanych partycji do ich łącznej liczby dla dominujących wzorców zapytań w każdej dużej tabeli, co bezpośrednio pokazuje skuteczność przycinania. Kandydujące klucze klastrowania oceniono następnie zarówno pod kątem skanowania, którego pozwolą uniknąć, jak i kredytów, które pochłonie ponowne klastrowanie.

Rozwiązanie

  1. Pomiar liczby przeskanowanych partycji względem łącznej liczby partycji dla każdego wzorca zapytań w celu określenia rzeczywistej skuteczności przycinania
  2. Porównanie obecnych kluczy klastrowania z predykatami filtrów używanymi w zapytaniach dziś, a nie w momencie projektowania
  3. Ocena kandydujących kluczy klastrowania zarówno pod kątem redukcji skanowania, jak i bieżącego kosztu ponownego klastrowania w kredytach
  4. Ocena głębokości klastrowania w największych tabelach w celu wskazania miejsc, w których ponowne klastrowanie nie nadążało
  5. Przegląd projektu tabel pod kątem przypadków, w których tabele partycjonowane lub search optimization sprawdzą się lepiej niż klastrowanie
  6. Rekomendacje dla każdej tabeli z określoną oczekiwaną redukcją skanowania i wpływem na kredyty

Efekt

Dostawca otrzymał obraz tego, w których tabelach przycinanie się pogorszyło i ile to kosztowało, wraz z rekomendacjami zestawionymi z kosztem ponownego klastrowania w kredytach, a nie przedstawionymi jako darmowe. Priorytet nadano największym tabelom, w których przywrócenie przycinania znacząco zmniejszyło liczbę skanowanych partycji.

Technologie

SnowflakedbtAirflowTerraform

Czas na przegląd Health Check Snowflake?

Starsi inżynierowie Snowflake w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.