Powrót do wszystkich studiów przypadków

Usuwanie problemówWiele branż

Jak znaleźć synchronizację, która świeci na zielono, gdy tabela w hurtowni przestaje być aktualna

Organizacja zajmująca się analityką handlu detalicznego

Diagnoza połączenia Airbyte, które wciąż raportowało sukces, podczas gdy tabela docelowa po zmianie schematu w źródle po cichu przestała się aktualizować.

Przegląd

Najgroźniejszy tryb awarii Airbyte to nie zadanie oznaczone na czerwono — tylko takie, które świeci na zielono. Gdy źródło dodaje kolumnę, zmienia jej nazwę lub typ, a polityka propagacji schematu w połączeniu po cichu to ignoruje, rekordy nadal trafiają do celu, ale kolumny, na których faktycznie opiera się raportowanie biznesowe, przestają się aktualizować.

Wyzwanie

Aplikacja źródłowa wydała wersję, w której zmieniono nazwy dwóch kolumn, a pole liczbowe zamieniono na tekstowe. Połączenie Airbyte nadal kończyło się bez błędów, ale modele downstream zbudowane na tych polach zwracały wartości null. Przez kilka cykli raportowych nikt tego nie zauważył, ponieważ wszystkie alerty dashboardów były powiązane ze statusem zadań, a nie ze świeżością danych.

Środowisko

Samodzielnie hostowany Airbyte na Kubernetes, synchronizujący źródła PostgreSQL i SaaS do chmurowej hurtowni danych, z modelami dbt korzystającymi z warstwy surowej.

Podejście

Inżynierowie AceMQ pobrali historię katalogu połączenia i porównali wykryty schemat ze skonfigurowanym schematem strumieni, aby ustalić dokładnie, które pola uległy dryfowi i kiedy. Następnie prześledzili zachowanie normalizacji po stronie celu, poprawili politykę zmian schematu i uzupełnili dane dla dotkniętych okresów w kontrolowanych partiach zamiast jednego pełnego odświeżenia.

Rozwiązanie

  1. Porównanie wykrytych katalogów źródłowych ze skonfigurowanymi schematami strumieni w celu identyfikacji pól, które uległy dryfowi lub zostały pominięte
  2. Ponowne ustawienie polityki propagacji zmian schematu dla każdego strumienia, tak aby zmiany niekompatybilne kończyły się głośnym błędem zamiast cichego obcinania danych
  3. Przebudowa dotkniętych strumieni z poprawionymi kluczami głównymi i polami kursora
  4. Uzupełnienie danych dla dotkniętych zakresów dat w ograniczonych partiach, aby uniknąć skoków zużycia kredytów hurtowni
  5. Dodanie kontroli świeżości i liczby wierszy po stronie celu, dzięki którym alert o nieaktualnych danych działa niezależnie od statusu zadania

Efekt

Nieaktualne kolumny zostały ponownie wypełnione, a połączenie kończy się teraz widocznym błędem, gdy schemat źródła zmienia się w sposób, którego nie da się wchłonąć. Zespół przestał traktować status zadań jako wskaźnik poprawności danych.

Technologie

AirbytePostgreSQLSnowflakeKubernetesdbt

Problem produkcyjny z Airbyte?

Starsi inżynierowie Airbyte w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.