Przegląd
Większość wdrożeń Airbyte zaczyna się od czyjejś instalacji przez Helm, a kończy na obsłudze produkcyjnego przepływu danych. Między tymi dwoma stanami leżą: izolacja zasobów, obsługa poświadczeń, kopie zapasowe wewnętrznej bazy danych i przetestowana ścieżka odtwarzania.
Wyzwanie
Platforma działała z domyślnymi żądaniami zasobów, poświadczenia źródeł były przechowywane w zwykłej konfiguracji, a wewnętrzna baza danych Airbyte, w której zapisany jest stan połączeń, nie miała żadnej kopii zapasowej. Pojedyncze wywłaszczenie węzła mogło przerwać trwające synchronizacje, a utrata wewnętrznej bazy oznaczałaby ponowną rejestrację każdego połączenia i odczyt każdego źródła od zera.
Środowisko
Airbyte na zarządzanym klastrze Kubernetes z wewnętrzną bazą danych PostgreSQL; źródła obejmujące systemy bankowości centralnej i platformy SaaS; działanie w reżimie wymagań audytu wewnętrznego.
Podejście
AceMQ wspólnie z zespołem platformowym zdefiniowało klasy zasobów dla podów synchronizacji, przeniosło poświadczenia do zewnętrznego menedżera sekretów i objęło wewnętrzną bazę danych przetestowanym cyklem tworzenia i odtwarzania kopii zapasowych. Rozdzieliliśmy też obciążenia tak, aby ciężka synchronizacja nie mogła zagłodzić harmonogramu.
Rozwiązanie
- Zdefiniowanie żądań i limitów zasobów dla każdego połączenia, aby duże synchronizacje nie mogły wywłaszczyć płaszczyzny sterowania
- Przeniesienie poświadczeń źródeł i celów do zewnętrznego menedżera sekretów wraz z procedurami rotacji
- Wprowadzenie kopii zapasowych i przetestowanego odtwarzania wewnętrznej bazy danych Airbyte przechowującej stan połączeń
- Rozdzielenie obciążeń synchronizacji na dedykowane pule węzłów z odpowiednimi tolerancjami
- Opracowanie runbooków dla aktualizacji konektorów, zawieszonych zadań i odtwarzania całego klastra
- Dodanie metryk i alertów dotyczących czasu trwania zadań, odsetka niepowodzeń i świeżości danych w celu
Efekt
Wdrożenie przetrwało celowy test opróżnienia węzła, a synchronizacje wznowiły się od zapisanego stanu. Zespół dysponuje udokumentowanymi procedurami odtwarzania, które może pokazać audytorom, zamiast opisywać je z pamięci.