Überblick
Das schädlichste Fehlerbild von Airbyte ist kein roter Job – sondern ein grüner. Fügt eine Quelle eine Spalte hinzu, benennt sie um oder ändert ihren Typ und ignoriert die Policy zur Schema-Propagierung der Connection das stillschweigend, kommen zwar weiter Datensätze an, doch genau die Spalten, auf denen das Reporting des Unternehmens basiert, werden nicht mehr aktualisiert.
Herausforderung
Eine Quellanwendung lieferte ein Release aus, das zwei Spalten umbenannte und ein numerisches Feld in einen String umwandelte. Die Airbyte-Connection lief weiterhin fehlerfrei durch, doch die nachgelagerten Modelle auf Basis dieser Felder lieferten Nullwerte. Über mehrere Reporting-Zyklen fiel das niemandem auf, weil jeder Dashboard-Alert am Job-Status hing statt an der Aktualität der Daten.
Umgebung
Selbst gehostetes Airbyte auf Kubernetes, das PostgreSQL- und SaaS-Quellen in ein Cloud Data Warehouse synchronisiert, mit dbt-Modellen, die die Raw-Schicht verarbeiten.
Vorgehen
Die Engineers von AceMQ zogen die Katalog-Historie der Connection heran und verglichen das erkannte Schema mit dem konfigurierten Stream-Schema, um genau festzustellen, welche Felder wann abgewichen waren. Anschließend verfolgten wir das Normalisierungsverhalten am Ziel, korrigierten die Policy für Schemaänderungen und füllten die betroffenen Zeiträume in kontrollierten Batches nach statt mit einem einzigen Full Refresh.
Lösung
- Abgleich der erkannten Quellkataloge mit den konfigurierten Stream-Schemas, um abgewichene und entfallene Felder zu identifizieren
- Neue Policy zur Propagierung von Schemaänderungen pro Stream, damit Breaking Changes deutlich sichtbar scheitern statt stillschweigend abzuschneiden
- Neuaufbau der betroffenen Streams mit korrigierten Primärschlüsseln und Cursor-Feldern
- Backfill der betroffenen Datumsbereiche in begrenzten Batches, um Spitzen beim Warehouse-Credit-Verbrauch zu vermeiden
- Prüfungen auf Aktualität und Zeilenzahl am Ziel, sodass veraltete Daten unabhängig vom Job-Status einen Alert auslösen
Resultat
Die veralteten Spalten wurden neu befüllt, und die Connection schlägt jetzt sichtbar fehl, wenn sich ein Quellschema auf eine Weise ändert, die sie nicht verarbeiten kann. Das Team verlässt sich nicht mehr auf den Job-Status als Ersatzindikator für korrekte Daten.