Przegląd
Nocny potok transformacji grupy ubezpieczeniowej zaczął przekraczać swoje okno czasowe i kolidować z dniem pracy. Odruchowym rozwiązaniem był większy warehouse — co już raz wypróbowano bez większego efektu. AceMQ zaangażowano, aby ustalić, co faktycznie pochłania czas.
Wyzwanie
Ten sam objaw wywoływały dwa odrębne problemy. Niewielka liczba zapytań transformacyjnych przelewała dane do zdalnej pamięci masowej, która jest o rzędy wielkości wolniejsza od lokalnej, a te długotrwałe zapytania zajmowały warehouse, podczas gdy cała reszta czekała w kolejce. Zwiększenie rozmiaru warehouse'u nieco pomogło przelewającym się zapytaniom, ale pogorszyło kolejkowanie w przeliczeniu na każdy wydany kredyt.
Środowisko
Snowflake na Azure z transformacjami dbt orkiestrowanymi przez Airflow, obejmującymi dane polis i szkód.
Podejście
AceMQ wykorzystało historię zapytań, aby rozdzielić dla każdego zapytania czas wykonania, czas oczekiwania w kolejce i wolumen przelewania — tak by oba problemy można było rozwiązać niezależnie. Poprawki na poziomie zapytań miały pierwszeństwo, ponieważ zapytanie, które się przelewa, będzie się przelewać na każdym rozmiarze warehouse'u, w którym nie mieści się jego zbiór roboczy.
Rozwiązanie
- Rozdzielenie czasu wykonania, czasu w kolejce i wolumenu zdalnego przelewania dla każdego zapytania na podstawie historii zapytań
- Przepisanie złączeń i funkcji okna w zapytaniach o największym przelewaniu, aby zmniejszyć rozmiar wyników pośrednich
- Rozdzielenie potoku na osobne warehouse'y, tak aby długie transformacje nie blokowały już krótkich zadań
- Skonfigurowanie skalowania wieloklastrowego na warehousie obsługującym równoległe krótkie zapytania
- Poprawienie klastrowania i filtrowania największych tabel źródłowych w celu ograniczenia liczby skanowanych mikropartycji
- Dodanie wolumenu przelewania i głębokości kolejki do monitoringu potoku jako wskaźników wyprzedzających przekroczenie okna
Efekt
Nocny potok znów mieści się w swoim oknie i przestał kolidować z godzinami pracy. Zdalne przelewanie zostało wyeliminowane w najgorszych zapytaniach, a zużycie kredytów spadło w porównaniu z wcześniej wypróbowanym podejściem opartym na większym warehousie.