Powrót do wszystkich studiów przypadków

Wsparcie techniczneOprogramowanie / platformy cyfrowe

Gdy synchronizacja przyrostowa po cichu staje się pełnym odświeżeniem, pierwszy dowiaduje się o tym rachunek za hurtownię

Dostawca oprogramowania w modelu subskrypcyjnym

Naprawa połączenia Airbyte, które regularnie wypadało z trybu przyrostowego i co noc wykonywało pełne odświeżenie dużej tabeli.

Przegląd

Synchronizacja przyrostowa wymaga stabilnego kursora i zachowanego stanu połączenia. Gdy jedno lub drugie zostanie unieważnione – przez zmianę konfiguracji, podbicie wersji konektora albo kolumnę kursora, która nie jest monotoniczna – Airbyte wraca do odczytu wszystkiego, a koszt ląduje w hurtowni danych, a nie w samym Airbyte.

Wyzwanie

Nocne połączenie z tabelą liczącą kilkaset milionów wierszy zaczęło działać godzinami zamiast minutami. Kolumną kursora był znacznik czasu ostatniej aktualizacji, który aplikacja czasem cofała, więc w niektórych przebiegach rekordy były pomijane, a obejście stosowane przez zespół – reset połączenia – za każdym razem wywoływało pełny ponowny odczyt. Koszt mocy obliczeniowej hurtowni w oknie ładowania wzrósł kilkukrotnie.

Środowisko

Airbyte Cloud i samodzielnie zarządzane workery na AWS, źródła PostgreSQL, docelowa chmurowa hurtownia danych z rozliczaniem mocy obliczeniowej według zużycia.

Podejście

AceMQ przeanalizował ładunki stanu połączenia z ostatnich przebiegów, aby potwierdzić, w którym miejscu stan jest odrzucany, a następnie ocenił, czy dla tej tabeli lepszy będzie tryb przyrostowy oparty na kursorze, czy CDC oparte na logu. Strumienie o największym wolumenie przenieśliśmy na CDC, a rzadko zmieniające się tabele referencyjne pozostawiliśmy na zaplanowanym pełnym odświeżaniu – tam, gdzie to rzeczywiście tańsza opcja.

Rozwiązanie

  1. Prześledzenie ładunków stanu poszczególnych strumieni między przebiegami w celu ustalenia, gdzie unieważniany jest stan przyrostowy
  2. Zastąpienie zawodnego kursora opartego na znaczniku czasu przez CDC oparte na logu dla tabel o największym wolumenie
  3. Rozdzielenie strumieni o dużej i małej zmienności na osobne połączenia z różnymi harmonogramami
  4. Strojenie współbieżności synchronizacji i wielkości partii po stronie docelowej w celu wygładzenia zapotrzebowania na klaster hurtowni
  5. Udokumentowanie, które zmiany konfiguracji powodują reset stanu, aby rutynowe edycje przestały wywoływać pełne odświeżenia

Efekt

Nocne okno ładowania wróciło do pierwotnej długości, a powtarzające się pełne odświeżenia ustały. Wydatki na hurtownię danych związane z tym obciążeniem spadły mniej więcej do poziomu sprzed incydentu.

Technologie

AirbytePostgreSQLSnowflakeDebezium

Potrzebują Państwo eksperckiego wsparcia Airbyte?

Starsi inżynierowie Airbyte w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.