Powrót do wszystkich studiów przypadków

Ocena środowiskaWiele branż

Rzetelna inwentaryzacja tego, co faktycznie robi Państwa środowisko Airbyte

Grupa usług ubezpieczeniowych

Ustrukturyzowany przegląd środowiska Airbyte, które rozrastało się bez planu — audyt wersji konektorów, trybów synchronizacji, obsługi stanu i widoczności awarii.

Przegląd

Środowiska Airbyte mają tendencję do narastania. Połączenia dodaje się szybko, bo jest to łatwe, a po roku nikt nie potrafi powiedzieć, które konektory są przypięte do starych wersji, które strumienie bez powodu działają w trybie pełnego odświeżania ani które potoki nie mają żadnego odbiorcy downstream.

Wyzwanie

Zespół platformy danych miał ponad sto połączeń w kilku obszarach roboczych. Wersje konektorów były bardzo zróżnicowane, konektory niestandardowe budowały osoby, które już odeszły z firmy, a dla kluczy głównych, deduplikacji i obsługi dead-letter nie istniał żaden spójny wzorzec. Nikt nie potrafił oszacować zasięgu skutków aktualizacji konektora.

Środowisko

Samodzielnie hostowany Airbyte na Kubernetes z mieszanką konektorów certyfikowanych, społecznościowych i zbudowanych wewnętrznie, zasilających chmurową hurtownię danych.

Podejście

AceMQ zinwentaryzowało każde połączenie przez API Airbyte i przypisało każdy strumień do jego odbiorców downstream, a następnie oceniło połączenia pod kątem aktualności wersji, dopasowania trybu synchronizacji, niezawodności stanu i obserwowalności. Wynikiem był uszeregowany backlog działań naprawczych, a nie ogólnikowa ocena dojrzałości.

Rozwiązanie

  1. Pełna inwentaryzacja obszarów roboczych, połączeń, strumieni i wersji konektorów przez API Airbyte
  2. Przypisanie każdego strumienia do modeli w hurtowni w celu wskazania nieużywanych i osieroconych potoków
  3. Oznaczenie strumieni, w których wybrany tryb synchronizacji nie odpowiada charakterystyce zmian w tabeli
  4. Przegląd kodu konektorów niestandardowych pod kątem luk w obsłudze ponowień, stronicowania i limitów zapytań
  5. Przekazanie priorytetyzowanego backlogu z szacunkami nakładu pracy oraz planem kolejności aktualizacji

Efekt

Zespół wycofał znaczną część połączeń, które niczego nie zasilały, ujednolicił wersje konektorów na wspieranej bazowej wersji i zyskał uzasadnioną kolejność aktualizacji zamiast aktualizowania konektorów przy okazji kolejnych incydentów.

Technologie

AirbyteKubernetesPostgreSQLdbtKafka

Czas na przegląd Health Check Airbyte?

Starsi inżynierowie Airbyte w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.