Powrót do wszystkich studiów przypadków

Usuwanie problemówOprogramowanie / platformy cyfrowe

Kompakcja małych plików, które dławią tabele Delta — i utrzymanie ich w tym stanie

Cyfrowa platforma handlu detalicznego

Naprawa tabel Delta, w których zapisy strumieniowe i nadmierne partycjonowanie wytworzyły miliony drobnych plików, blokując odczyty i operacje vacuum.

Przegląd

Tabela Delta zasilana przez zadanie strumieniowe z krótkim interwałem triggera i kolumną partycjonowania o wysokiej kardynalności gromadzi małe pliki szybciej, niż ktokolwiek to zauważy. Zapytania, które wcześniej zwracały wyniki w kilka sekund, zaczynają większość czasu spędzać na listowaniu plików i rozwiązywaniu metadanych. AceMQ naprawia tabele i ścieżkę zapisu, która spowodowała problem.

Wyzwanie

Objawy zwykle pojawiają się jako opóźnienie odczytów, które rośnie stopniowo, a nie nagle: zapytanie dashboardu, które trwało osiem sekund, trwa teraz cztery minuty, zadania OPTIMIZE przekraczają swoje okno i są przerywane, a VACUUM nie może się zakończyć, bo sama lista plików jest ogromna. Bezrefleksyjne uruchomienie OPTIMIZE na całej tabeli wywołuje przepisanie, które kosztuje więcej mocy obliczeniowej, niż zespół zabudżetował, i koliduje z równoległymi zapisami.

Środowisko

Databricks z tabelami Delta zapisywanymi przez Structured Streaming, Auto Loader lub częste zadania mikrowsadowe w chmurowym magazynie obiektowym.

Podejście

AceMQ profiluje liczbę plików i rozkład ich rozmiarów w każdej partycji, aby ustalić, gdzie koncentrują się szkody, a następnie przeprowadza kompakcję przyrostowo według zakresów partycji, tak aby każde uruchomienie OPTIMIZE mieściło się w oknie serwisowym i nie kolidowało z aktywnymi zapisami. Gdy tabela jest już w dobrym stanie, korygowana jest ścieżka zapisu — interwały triggerów, wybór kolumny partycjonowania i ustawienia auto-compaction — aby problem nie powrócił.

Rozwiązanie

  1. Profilowanie liczby i rozmiaru plików w każdej partycji w celu ustalenia, gdzie faktycznie gromadzą się małe pliki
  2. Przyrostowe OPTIMIZE z ZORDER według rzeczywistych predykatów zapytań, harmonogramowane według zakresów partycji tak, aby mieściło się w oknie serwisowym
  3. Przegląd strategii partycjonowania, zwykle z usunięciem kolumny o wysokiej kardynalności, która powinna być kluczem ZORDER
  4. Konfiguracja auto-optimize i auto-compaction na strumieniowej ścieżce zapisu z dostrojonym docelowym rozmiarem pliku
  5. Przegląd retencji VACUUM i etapowe wykonanie, gdy liczba plików wróci do normy
  6. Przegląd ustawień deletion vectors i checkpointów dla tabel z intensywnymi operacjami merge

Efekt

Opóźnienie odczytów w objętych problemem tabelach zwykle wraca do pierwotnego poziomu, a zadania serwisowe znów kończą się w swoim oknie. Ponieważ ścieżka zapisu jest korygowana w ramach tego samego projektu, liczba plików pozostaje stała, zamiast znów rosnąć w kolejnym kwartale.

Technologie

DatabricksDelta LakeApache Spark

Problem produkcyjny z Databricks?

Starsi inżynierowie Databricks w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.