Zurück zu allen Kundenbeispielen

SupportSoftware / Digitale Plattformen

Wenn aus Incremental unbemerkt ein Full Refresh wird, merken Sie es zuerst an der Warehouse-Rechnung

Anbieter von Abo-Software

Eine Airbyte-Connection, die immer wieder aus dem inkrementellen Modus fiel und jede Nacht einen Full Refresh gegen eine große Tabelle fuhr, wieder in den Griff bekommen.

Überblick

Inkrementelle Syncs hängen von einem stabilen Cursor und einem erhaltenen Connection State ab. Wird eines davon ungültig – durch eine Konfigurationsänderung, ein neues Connector-Release oder eine Cursor-Spalte, die nicht monoton steigt –, liest Airbyte wieder alles, und die Kosten fallen im Warehouse an statt in Airbyte selbst.

Herausforderung

Eine nächtliche Connection gegen eine Tabelle mit mehreren hundert Millionen Zeilen lief plötzlich stundenlang statt minutenlang. Die Cursor-Spalte war ein Updated-at-Zeitstempel, den die Anwendung gelegentlich rückdatierte. Dadurch wurden bei manchen Läufen Datensätze übersprungen, und die Abhilfe des Teams – ein Reset der Connection – löste jedes Mal ein vollständiges Neulesen aus. Die Warehouse-Compute-Kosten im Ingest-Fenster stiegen auf ein Mehrfaches.

Umgebung

Airbyte Cloud und selbst betriebene Worker auf AWS, PostgreSQL-Quellen, ein Cloud Data Warehouse als Ziel mit nutzungsbasierter Abrechnung der Compute-Leistung.

Vorgehen

AceMQ hat die State-Payloads der Connection über die letzten Läufe ausgewertet, um zu bestätigen, wo der State verworfen wurde, und dann geprüft, ob die Tabelle mit cursorbasiertem Incremental oder mit logbasiertem CDC besser bedient ist. Die Streams mit dem höchsten Volumen haben wir auf CDC umgestellt; Referenztabellen mit wenig Änderungen blieben bei einem geplanten Full Refresh, weil das dort tatsächlich die günstigere Option ist.

Lösung

  1. State-Payloads pro Stream über mehrere Läufe nachverfolgt, um festzustellen, wo der inkrementelle State ungültig wurde
  2. Einen unzuverlässigen Zeitstempel-Cursor für die Tabellen mit dem höchsten Volumen durch logbasiertes CDC ersetzt
  3. Streams mit vielen und wenigen Änderungen auf getrennte Connections mit unterschiedlichen Zeitplänen aufgeteilt
  4. Sync-Nebenläufigkeit und Batch-Größen am Ziel so abgestimmt, dass die Last auf dem Warehouse-Cluster gleichmäßiger wird
  5. Dokumentiert, welche Konfigurationsänderungen einen State-Reset auslösen, damit Routineänderungen keine Full Refreshes mehr verursachen

Resultat

Das nächtliche Ingest-Fenster ist wieder so kurz wie ursprünglich, und die wiederkehrenden Full Refreshes haben aufgehört. Die Warehouse-Ausgaben für den Ingest-Workload sind ungefähr auf das Niveau vor dem Vorfall zurückgegangen.

Technologien

AirbytePostgreSQLSnowflakeDebezium

Brauchen Sie Expertensupport für Airbyte?

Die Senior Engineers von AceMQ für Airbyte haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.