Überblick
Inkrementelle Syncs hängen von einem stabilen Cursor und einem erhaltenen Connection State ab. Wird eines davon ungültig – durch eine Konfigurationsänderung, ein neues Connector-Release oder eine Cursor-Spalte, die nicht monoton steigt –, liest Airbyte wieder alles, und die Kosten fallen im Warehouse an statt in Airbyte selbst.
Herausforderung
Eine nächtliche Connection gegen eine Tabelle mit mehreren hundert Millionen Zeilen lief plötzlich stundenlang statt minutenlang. Die Cursor-Spalte war ein Updated-at-Zeitstempel, den die Anwendung gelegentlich rückdatierte. Dadurch wurden bei manchen Läufen Datensätze übersprungen, und die Abhilfe des Teams – ein Reset der Connection – löste jedes Mal ein vollständiges Neulesen aus. Die Warehouse-Compute-Kosten im Ingest-Fenster stiegen auf ein Mehrfaches.
Umgebung
Airbyte Cloud und selbst betriebene Worker auf AWS, PostgreSQL-Quellen, ein Cloud Data Warehouse als Ziel mit nutzungsbasierter Abrechnung der Compute-Leistung.
Vorgehen
AceMQ hat die State-Payloads der Connection über die letzten Läufe ausgewertet, um zu bestätigen, wo der State verworfen wurde, und dann geprüft, ob die Tabelle mit cursorbasiertem Incremental oder mit logbasiertem CDC besser bedient ist. Die Streams mit dem höchsten Volumen haben wir auf CDC umgestellt; Referenztabellen mit wenig Änderungen blieben bei einem geplanten Full Refresh, weil das dort tatsächlich die günstigere Option ist.
Lösung
- State-Payloads pro Stream über mehrere Läufe nachverfolgt, um festzustellen, wo der inkrementelle State ungültig wurde
- Einen unzuverlässigen Zeitstempel-Cursor für die Tabellen mit dem höchsten Volumen durch logbasiertes CDC ersetzt
- Streams mit vielen und wenigen Änderungen auf getrennte Connections mit unterschiedlichen Zeitplänen aufgeteilt
- Sync-Nebenläufigkeit und Batch-Größen am Ziel so abgestimmt, dass die Last auf dem Warehouse-Cluster gleichmäßiger wird
- Dokumentiert, welche Konfigurationsänderungen einen State-Reset auslösen, damit Routineänderungen keine Full Refreshes mehr verursachen
Resultat
Das nächtliche Ingest-Fenster ist wieder so kurz wie ursprünglich, und die wiederkehrenden Full Refreshes haben aufgehört. Die Warehouse-Ausgaben für den Ingest-Workload sind ungefähr auf das Niveau vor dem Vorfall zurückgegangen.