Przegląd
Tabela Delta zasilana przez zadanie strumieniowe z krótkim interwałem triggera i kolumną partycjonowania o wysokiej kardynalności gromadzi małe pliki szybciej, niż ktokolwiek to zauważy. Zapytania, które wcześniej zwracały wyniki w kilka sekund, zaczynają większość czasu spędzać na listowaniu plików i rozwiązywaniu metadanych. AceMQ naprawia tabele i ścieżkę zapisu, która spowodowała problem.
Wyzwanie
Objawy zwykle pojawiają się jako opóźnienie odczytów, które rośnie stopniowo, a nie nagle: zapytanie dashboardu, które trwało osiem sekund, trwa teraz cztery minuty, zadania OPTIMIZE przekraczają swoje okno i są przerywane, a VACUUM nie może się zakończyć, bo sama lista plików jest ogromna. Bezrefleksyjne uruchomienie OPTIMIZE na całej tabeli wywołuje przepisanie, które kosztuje więcej mocy obliczeniowej, niż zespół zabudżetował, i koliduje z równoległymi zapisami.
Środowisko
Databricks z tabelami Delta zapisywanymi przez Structured Streaming, Auto Loader lub częste zadania mikrowsadowe w chmurowym magazynie obiektowym.
Podejście
AceMQ profiluje liczbę plików i rozkład ich rozmiarów w każdej partycji, aby ustalić, gdzie koncentrują się szkody, a następnie przeprowadza kompakcję przyrostowo według zakresów partycji, tak aby każde uruchomienie OPTIMIZE mieściło się w oknie serwisowym i nie kolidowało z aktywnymi zapisami. Gdy tabela jest już w dobrym stanie, korygowana jest ścieżka zapisu — interwały triggerów, wybór kolumny partycjonowania i ustawienia auto-compaction — aby problem nie powrócił.
Rozwiązanie
- Profilowanie liczby i rozmiaru plików w każdej partycji w celu ustalenia, gdzie faktycznie gromadzą się małe pliki
- Przyrostowe OPTIMIZE z ZORDER według rzeczywistych predykatów zapytań, harmonogramowane według zakresów partycji tak, aby mieściło się w oknie serwisowym
- Przegląd strategii partycjonowania, zwykle z usunięciem kolumny o wysokiej kardynalności, która powinna być kluczem ZORDER
- Konfiguracja auto-optimize i auto-compaction na strumieniowej ścieżce zapisu z dostrojonym docelowym rozmiarem pliku
- Przegląd retencji VACUUM i etapowe wykonanie, gdy liczba plików wróci do normy
- Przegląd ustawień deletion vectors i checkpointów dla tabel z intensywnymi operacjami merge
Efekt
Opóźnienie odczytów w objętych problemem tabelach zwykle wraca do pierwotnego poziomu, a zadania serwisowe znów kończą się w swoim oknie. Ponieważ ścieżka zapisu jest korygowana w ramach tego samego projektu, liczba plików pozostaje stała, zamiast znów rosnąć w kolejnym kwartale.