Descripción general
Los syncs incrementales dependen de un cursor estable y de que se conserve el estado de la conexión. Cuando cualquiera de los dos se invalida (por un cambio de configuración, un salto de versión del conector o una columna cursor que no es monótona), Airbyte vuelve a leerlo todo, y el costo cae en el warehouse y no en Airbyte.
Desafío
Una conexión nocturna sobre una tabla de varios cientos de millones de filas pasó a tardar horas en lugar de minutos. La columna cursor era un timestamp de última actualización que la aplicación a veces fechaba hacia atrás, así que algunos registros se saltaban en ciertas ejecuciones, y la solución del equipo (reiniciar la conexión) disparaba cada vez una relectura completa. El cómputo del warehouse en la ventana de ingesta se multiplicó varias veces.
Entorno
Airbyte Cloud y workers autogestionados en AWS, orígenes PostgreSQL y un data warehouse en la nube como destino, con precios de cómputo según el uso.
Enfoque
AceMQ revisó los payloads de estado de la conexión en las ejecuciones recientes para confirmar dónde se estaba descartando el estado, y luego evaluó si a la tabla le convenía más un incremental basado en cursor o un CDC basado en logs. Pasamos los streams de mayor volumen a CDC y dejamos las tablas de referencia con pocos cambios en full refresh programado, donde realmente es la opción más barata.
Solución
- Seguimiento de los payloads de estado por stream entre ejecuciones para identificar dónde se invalidaba el estado incremental
- Reemplazo de un cursor de timestamp poco confiable por CDC basado en logs para las tablas de mayor volumen
- Separación de los streams con muchos y pocos cambios en conexiones distintas con horarios distintos
- Ajuste de la concurrencia de los syncs y del tamaño de los lotes en el destino para suavizar la demanda sobre el clúster del warehouse
- Documentación de qué cambios de configuración disparan un reinicio del estado, para que las ediciones de rutina dejen de provocar full refreshes
Resultado final
La ventana de ingesta nocturna volvió a su duración original y se terminaron los full refreshes recurrentes. El gasto del warehouse para la carga de ingesta volvió aproximadamente al nivel previo al incidente.