Przegląd
Najgroźniejszy tryb awarii Airbyte to nie zadanie oznaczone na czerwono — tylko takie, które świeci na zielono. Gdy źródło dodaje kolumnę, zmienia jej nazwę lub typ, a polityka propagacji schematu w połączeniu po cichu to ignoruje, rekordy nadal trafiają do celu, ale kolumny, na których faktycznie opiera się raportowanie biznesowe, przestają się aktualizować.
Wyzwanie
Aplikacja źródłowa wydała wersję, w której zmieniono nazwy dwóch kolumn, a pole liczbowe zamieniono na tekstowe. Połączenie Airbyte nadal kończyło się bez błędów, ale modele downstream zbudowane na tych polach zwracały wartości null. Przez kilka cykli raportowych nikt tego nie zauważył, ponieważ wszystkie alerty dashboardów były powiązane ze statusem zadań, a nie ze świeżością danych.
Środowisko
Samodzielnie hostowany Airbyte na Kubernetes, synchronizujący źródła PostgreSQL i SaaS do chmurowej hurtowni danych, z modelami dbt korzystającymi z warstwy surowej.
Podejście
Inżynierowie AceMQ pobrali historię katalogu połączenia i porównali wykryty schemat ze skonfigurowanym schematem strumieni, aby ustalić dokładnie, które pola uległy dryfowi i kiedy. Następnie prześledzili zachowanie normalizacji po stronie celu, poprawili politykę zmian schematu i uzupełnili dane dla dotkniętych okresów w kontrolowanych partiach zamiast jednego pełnego odświeżenia.
Rozwiązanie
- Porównanie wykrytych katalogów źródłowych ze skonfigurowanymi schematami strumieni w celu identyfikacji pól, które uległy dryfowi lub zostały pominięte
- Ponowne ustawienie polityki propagacji zmian schematu dla każdego strumienia, tak aby zmiany niekompatybilne kończyły się głośnym błędem zamiast cichego obcinania danych
- Przebudowa dotkniętych strumieni z poprawionymi kluczami głównymi i polami kursora
- Uzupełnienie danych dla dotkniętych zakresów dat w ograniczonych partiach, aby uniknąć skoków zużycia kredytów hurtowni
- Dodanie kontroli świeżości i liczby wierszy po stronie celu, dzięki którym alert o nieaktualnych danych działa niezależnie od statusu zadania
Efekt
Nieaktualne kolumny zostały ponownie wypełnione, a połączenie kończy się teraz widocznym błędem, gdy schemat źródła zmienia się w sposób, którego nie da się wchłonąć. Zespół przestał traktować status zadań jako wskaźnik poprawności danych.