Przegląd
Synchronizacja przyrostowa wymaga stabilnego kursora i zachowanego stanu połączenia. Gdy jedno lub drugie zostanie unieważnione – przez zmianę konfiguracji, podbicie wersji konektora albo kolumnę kursora, która nie jest monotoniczna – Airbyte wraca do odczytu wszystkiego, a koszt ląduje w hurtowni danych, a nie w samym Airbyte.
Wyzwanie
Nocne połączenie z tabelą liczącą kilkaset milionów wierszy zaczęło działać godzinami zamiast minutami. Kolumną kursora był znacznik czasu ostatniej aktualizacji, który aplikacja czasem cofała, więc w niektórych przebiegach rekordy były pomijane, a obejście stosowane przez zespół – reset połączenia – za każdym razem wywoływało pełny ponowny odczyt. Koszt mocy obliczeniowej hurtowni w oknie ładowania wzrósł kilkukrotnie.
Środowisko
Airbyte Cloud i samodzielnie zarządzane workery na AWS, źródła PostgreSQL, docelowa chmurowa hurtownia danych z rozliczaniem mocy obliczeniowej według zużycia.
Podejście
AceMQ przeanalizował ładunki stanu połączenia z ostatnich przebiegów, aby potwierdzić, w którym miejscu stan jest odrzucany, a następnie ocenił, czy dla tej tabeli lepszy będzie tryb przyrostowy oparty na kursorze, czy CDC oparte na logu. Strumienie o największym wolumenie przenieśliśmy na CDC, a rzadko zmieniające się tabele referencyjne pozostawiliśmy na zaplanowanym pełnym odświeżaniu – tam, gdzie to rzeczywiście tańsza opcja.
Rozwiązanie
- Prześledzenie ładunków stanu poszczególnych strumieni między przebiegami w celu ustalenia, gdzie unieważniany jest stan przyrostowy
- Zastąpienie zawodnego kursora opartego na znaczniku czasu przez CDC oparte na logu dla tabel o największym wolumenie
- Rozdzielenie strumieni o dużej i małej zmienności na osobne połączenia z różnymi harmonogramami
- Strojenie współbieżności synchronizacji i wielkości partii po stronie docelowej w celu wygładzenia zapotrzebowania na klaster hurtowni
- Udokumentowanie, które zmiany konfiguracji powodują reset stanu, aby rutynowe edycje przestały wywoływać pełne odświeżenia
Efekt
Nocne okno ładowania wróciło do pierwotnej długości, a powtarzające się pełne odświeżenia ustały. Wydatki na hurtownię danych związane z tym obciążeniem spadły mniej więcej do poziomu sprzed incydentu.