Przegląd
Środowiska Airbyte mają tendencję do narastania. Połączenia dodaje się szybko, bo jest to łatwe, a po roku nikt nie potrafi powiedzieć, które konektory są przypięte do starych wersji, które strumienie bez powodu działają w trybie pełnego odświeżania ani które potoki nie mają żadnego odbiorcy downstream.
Wyzwanie
Zespół platformy danych miał ponad sto połączeń w kilku obszarach roboczych. Wersje konektorów były bardzo zróżnicowane, konektory niestandardowe budowały osoby, które już odeszły z firmy, a dla kluczy głównych, deduplikacji i obsługi dead-letter nie istniał żaden spójny wzorzec. Nikt nie potrafił oszacować zasięgu skutków aktualizacji konektora.
Środowisko
Samodzielnie hostowany Airbyte na Kubernetes z mieszanką konektorów certyfikowanych, społecznościowych i zbudowanych wewnętrznie, zasilających chmurową hurtownię danych.
Podejście
AceMQ zinwentaryzowało każde połączenie przez API Airbyte i przypisało każdy strumień do jego odbiorców downstream, a następnie oceniło połączenia pod kątem aktualności wersji, dopasowania trybu synchronizacji, niezawodności stanu i obserwowalności. Wynikiem był uszeregowany backlog działań naprawczych, a nie ogólnikowa ocena dojrzałości.
Rozwiązanie
- Pełna inwentaryzacja obszarów roboczych, połączeń, strumieni i wersji konektorów przez API Airbyte
- Przypisanie każdego strumienia do modeli w hurtowni w celu wskazania nieużywanych i osieroconych potoków
- Oznaczenie strumieni, w których wybrany tryb synchronizacji nie odpowiada charakterystyce zmian w tabeli
- Przegląd kodu konektorów niestandardowych pod kątem luk w obsłudze ponowień, stronicowania i limitów zapytań
- Przekazanie priorytetyzowanego backlogu z szacunkami nakładu pracy oraz planem kolejności aktualizacji
Efekt
Zespół wycofał znaczną część połączeń, które niczego nie zasilały, ujednolicił wersje konektorów na wspieranej bazowej wersji i zyskał uzasadnioną kolejność aktualizacji zamiast aktualizowania konektorów przy okazji kolejnych incydentów.