Zurück zu allen Kundenbeispielen

FehlerbehebungBranchenübergreifend

Die Synchronisation finden, die grün meldet, während die Warehouse-Tabelle veraltet

Organisation für Retail-Analytics

Diagnose einer Airbyte-Connection, die weiterhin Erfolg meldete, während die Zieltabelle nach einer Schemaänderung im Quellsystem unbemerkt veraltete.

Überblick

Das schädlichste Fehlerbild von Airbyte ist kein roter Job – sondern ein grüner. Fügt eine Quelle eine Spalte hinzu, benennt sie um oder ändert ihren Typ und ignoriert die Policy zur Schema-Propagierung der Connection das stillschweigend, kommen zwar weiter Datensätze an, doch genau die Spalten, auf denen das Reporting des Unternehmens basiert, werden nicht mehr aktualisiert.

Herausforderung

Eine Quellanwendung lieferte ein Release aus, das zwei Spalten umbenannte und ein numerisches Feld in einen String umwandelte. Die Airbyte-Connection lief weiterhin fehlerfrei durch, doch die nachgelagerten Modelle auf Basis dieser Felder lieferten Nullwerte. Über mehrere Reporting-Zyklen fiel das niemandem auf, weil jeder Dashboard-Alert am Job-Status hing statt an der Aktualität der Daten.

Umgebung

Selbst gehostetes Airbyte auf Kubernetes, das PostgreSQL- und SaaS-Quellen in ein Cloud Data Warehouse synchronisiert, mit dbt-Modellen, die die Raw-Schicht verarbeiten.

Vorgehen

Die Engineers von AceMQ zogen die Katalog-Historie der Connection heran und verglichen das erkannte Schema mit dem konfigurierten Stream-Schema, um genau festzustellen, welche Felder wann abgewichen waren. Anschließend verfolgten wir das Normalisierungsverhalten am Ziel, korrigierten die Policy für Schemaänderungen und füllten die betroffenen Zeiträume in kontrollierten Batches nach statt mit einem einzigen Full Refresh.

Lösung

  1. Abgleich der erkannten Quellkataloge mit den konfigurierten Stream-Schemas, um abgewichene und entfallene Felder zu identifizieren
  2. Neue Policy zur Propagierung von Schemaänderungen pro Stream, damit Breaking Changes deutlich sichtbar scheitern statt stillschweigend abzuschneiden
  3. Neuaufbau der betroffenen Streams mit korrigierten Primärschlüsseln und Cursor-Feldern
  4. Backfill der betroffenen Datumsbereiche in begrenzten Batches, um Spitzen beim Warehouse-Credit-Verbrauch zu vermeiden
  5. Prüfungen auf Aktualität und Zeilenzahl am Ziel, sodass veraltete Daten unabhängig vom Job-Status einen Alert auslösen

Resultat

Die veralteten Spalten wurden neu befüllt, und die Connection schlägt jetzt sichtbar fehl, wenn sich ein Quellschema auf eine Weise ändert, die sie nicht verarbeiten kann. Das Team verlässt sich nicht mehr auf den Job-Status als Ersatzindikator für korrekte Daten.

Technologien

AirbytePostgreSQLSnowflakeKubernetesdbt

Haben Sie ein Produktionsproblem mit Airbyte?

Die Senior Engineers von AceMQ für Airbyte haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.