Powrót do wszystkich studiów przypadków

Usuwanie problemówWiele branż

Diagnoza przelewania i kolejkowania, zanim doda się kolejny warehouse

Globalna grupa ubezpieczeniowa

Usunięcie drastycznych wydłużeń czasu działania potoków, spowodowanych przelewaniem zapytań do zdalnej pamięci masowej na zbyt małych warehouse'ach, podczas gdy równoległe zadania czekały za nimi w kolejce.

Przegląd

Nocny potok transformacji grupy ubezpieczeniowej zaczął przekraczać swoje okno czasowe i kolidować z dniem pracy. Odruchowym rozwiązaniem był większy warehouse — co już raz wypróbowano bez większego efektu. AceMQ zaangażowano, aby ustalić, co faktycznie pochłania czas.

Wyzwanie

Ten sam objaw wywoływały dwa odrębne problemy. Niewielka liczba zapytań transformacyjnych przelewała dane do zdalnej pamięci masowej, która jest o rzędy wielkości wolniejsza od lokalnej, a te długotrwałe zapytania zajmowały warehouse, podczas gdy cała reszta czekała w kolejce. Zwiększenie rozmiaru warehouse'u nieco pomogło przelewającym się zapytaniom, ale pogorszyło kolejkowanie w przeliczeniu na każdy wydany kredyt.

Środowisko

Snowflake na Azure z transformacjami dbt orkiestrowanymi przez Airflow, obejmującymi dane polis i szkód.

Podejście

AceMQ wykorzystało historię zapytań, aby rozdzielić dla każdego zapytania czas wykonania, czas oczekiwania w kolejce i wolumen przelewania — tak by oba problemy można było rozwiązać niezależnie. Poprawki na poziomie zapytań miały pierwszeństwo, ponieważ zapytanie, które się przelewa, będzie się przelewać na każdym rozmiarze warehouse'u, w którym nie mieści się jego zbiór roboczy.

Rozwiązanie

  1. Rozdzielenie czasu wykonania, czasu w kolejce i wolumenu zdalnego przelewania dla każdego zapytania na podstawie historii zapytań
  2. Przepisanie złączeń i funkcji okna w zapytaniach o największym przelewaniu, aby zmniejszyć rozmiar wyników pośrednich
  3. Rozdzielenie potoku na osobne warehouse'y, tak aby długie transformacje nie blokowały już krótkich zadań
  4. Skonfigurowanie skalowania wieloklastrowego na warehousie obsługującym równoległe krótkie zapytania
  5. Poprawienie klastrowania i filtrowania największych tabel źródłowych w celu ograniczenia liczby skanowanych mikropartycji
  6. Dodanie wolumenu przelewania i głębokości kolejki do monitoringu potoku jako wskaźników wyprzedzających przekroczenie okna

Efekt

Nocny potok znów mieści się w swoim oknie i przestał kolidować z godzinami pracy. Zdalne przelewanie zostało wyeliminowane w najgorszych zapytaniach, a zużycie kredytów spadło w porównaniu z wcześniej wypróbowanym podejściem opartym na większym warehousie.

Technologie

SnowflakedbtAirflowTerraform

Problem produkcyjny z Snowflake?

Starsi inżynierowie Snowflake w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.