Powrót do wszystkich studiów przypadków

DoradztwoUsługi finansowe / płatności

Jak z działającej instalacji Airbyte zrobić taką, którą da się eksploatować pod okiem audytu

Regionalna grupa bankowa

Przekształcenie instalacji Airbyte z etapu proof of concept we wdrożenie klasy produkcyjnej z właściwą izolacją, obsługą sekretów, limitami zasobów i procedurami odtwarzania.

Przegląd

Większość wdrożeń Airbyte zaczyna się od czyjejś instalacji przez Helm, a kończy na obsłudze produkcyjnego przepływu danych. Między tymi dwoma stanami leżą: izolacja zasobów, obsługa poświadczeń, kopie zapasowe wewnętrznej bazy danych i przetestowana ścieżka odtwarzania.

Wyzwanie

Platforma działała z domyślnymi żądaniami zasobów, poświadczenia źródeł były przechowywane w zwykłej konfiguracji, a wewnętrzna baza danych Airbyte, w której zapisany jest stan połączeń, nie miała żadnej kopii zapasowej. Pojedyncze wywłaszczenie węzła mogło przerwać trwające synchronizacje, a utrata wewnętrznej bazy oznaczałaby ponowną rejestrację każdego połączenia i odczyt każdego źródła od zera.

Środowisko

Airbyte na zarządzanym klastrze Kubernetes z wewnętrzną bazą danych PostgreSQL; źródła obejmujące systemy bankowości centralnej i platformy SaaS; działanie w reżimie wymagań audytu wewnętrznego.

Podejście

AceMQ wspólnie z zespołem platformowym zdefiniowało klasy zasobów dla podów synchronizacji, przeniosło poświadczenia do zewnętrznego menedżera sekretów i objęło wewnętrzną bazę danych przetestowanym cyklem tworzenia i odtwarzania kopii zapasowych. Rozdzieliliśmy też obciążenia tak, aby ciężka synchronizacja nie mogła zagłodzić harmonogramu.

Rozwiązanie

  1. Zdefiniowanie żądań i limitów zasobów dla każdego połączenia, aby duże synchronizacje nie mogły wywłaszczyć płaszczyzny sterowania
  2. Przeniesienie poświadczeń źródeł i celów do zewnętrznego menedżera sekretów wraz z procedurami rotacji
  3. Wprowadzenie kopii zapasowych i przetestowanego odtwarzania wewnętrznej bazy danych Airbyte przechowującej stan połączeń
  4. Rozdzielenie obciążeń synchronizacji na dedykowane pule węzłów z odpowiednimi tolerancjami
  5. Opracowanie runbooków dla aktualizacji konektorów, zawieszonych zadań i odtwarzania całego klastra
  6. Dodanie metryk i alertów dotyczących czasu trwania zadań, odsetka niepowodzeń i świeżości danych w celu

Efekt

Wdrożenie przetrwało celowy test opróżnienia węzła, a synchronizacje wznowiły się od zapisanego stanu. Zespół dysponuje udokumentowanymi procedurami odtwarzania, które może pokazać audytorom, zamiast opisywać je z pamięci.

Technologie

AirbyteKubernetesPostgreSQLDocker

Potrzebują Państwo doradztwa w zakresie architektury Airbyte?

Starsi inżynierowie Airbyte w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.