Überblick
Airbyte-Landschaften wachsen in die Breite. Connections kommen schnell hinzu, weil sie sich leicht anlegen lassen, und nach einem Jahr kann niemand mehr sagen, welche Connectors auf alte Versionen festgenagelt sind, welche Streams ohne Grund auf Full Refresh laufen und welche Pipelines von keinem nachgelagerten System genutzt werden.
Herausforderung
Das Datenplattform-Team hatte über hundert Connections in mehreren Workspaces. Die Connector-Versionen streuten stark, eigene Connectors stammten von Leuten, die das Unternehmen inzwischen verlassen hatten, und es gab kein einheitliches Muster für Primary Keys, Deduplizierung oder Dead-Letter-Behandlung. Niemand konnte den Blast Radius eines Connector-Upgrades abschätzen.
Umgebung
Selbst gehostetes Airbyte auf Kubernetes mit einer Mischung aus zertifizierten, Community- und intern entwickelten Connectors, die ein Cloud Warehouse befüllen.
Vorgehen
AceMQ inventarisierte jede Connection über die Airbyte-API und ordnete jeden Stream seinen nachgelagerten Konsumenten zu. Anschließend wurden die Connections nach Aktualität der Version, Eignung des Sync-Modus, Zuverlässigkeit des State und Observability bewertet. Ergebnis war ein gereihtes Backlog zur Behebung statt eines generischen Reifegrad-Scores.
Lösung
- Vollständiges Inventar von Workspaces, Connections, Streams und Connector-Versionen über die Airbyte-API
- Jeden Stream den nachgelagerten Warehouse-Modellen zugeordnet, um ungenutzte und verwaiste Pipelines zu identifizieren
- Streams markiert, bei denen der gewählte Sync-Modus nicht zum Änderungsverhalten der Tabelle passt
- Code eigener Connectors auf Lücken bei Retry, Pagination und Behandlung von Rate Limits geprüft
- Priorisiertes Backlog mit Aufwandsschätzungen und einem Plan für die Reihenfolge der Upgrades geliefert
Resultat
Das Team legte einen beträchtlichen Teil der Connections still, die nichts versorgten, konsolidierte die Connector-Versionen auf eine unterstützte Basis und verfügt jetzt über eine belastbare Upgrade-Reihenfolge, statt Connectors Vorfall für Vorfall zu aktualisieren.