Descripción general
Las sincronizaciones incrementales dependen de un cursor estable y de que se conserve el estado de la conexión. Si cualquiera de los dos se invalida —por un cambio de configuración, una nueva versión del conector o una columna de cursor que no es monótona—, Airbyte vuelve a leerlo todo, y el coste no recae en Airbyte, sino en el data warehouse.
Reto
Una conexión nocturna contra una tabla de varios cientos de millones de filas pasó de durar minutos a durar horas. La columna de cursor era una marca de tiempo de última actualización que la aplicación retrotraía de vez en cuando, de modo que en algunas ejecuciones se omitían registros, y la solución del equipo —restablecer la conexión— provocaba cada vez una relectura completa. El cómputo del data warehouse durante la ventana de ingesta se multiplicó varias veces.
Entorno
Airbyte Cloud y workers autogestionados en AWS, orígenes PostgreSQL y un data warehouse en la nube como destino, con cómputo facturado por uso.
Enfoque
AceMQ revisó los payloads de estado de la conexión en las ejecuciones recientes para confirmar dónde se descartaba el estado y, a continuación, evaluó si la tabla se adaptaba mejor a una carga incremental basada en cursor o a un CDC basado en logs. Pasamos a CDC los streams de mayor volumen y dejamos las tablas de referencia con pocos cambios en full refresh programado, donde de verdad es la opción más económica.
Solución
- Seguimiento de los payloads de estado por stream a lo largo de las ejecuciones para localizar dónde se invalidaba el estado incremental
- Sustitución de un cursor de marca de tiempo poco fiable por CDC basado en logs en las tablas de mayor volumen
- Separación de los streams con muchos y pocos cambios en conexiones distintas, con programaciones diferentes
- Ajuste de la concurrencia de las sincronizaciones y del tamaño de lote en el destino para suavizar la demanda sobre el clúster del data warehouse
- Documentación de los cambios de configuración que provocan un restablecimiento del estado, para que las modificaciones rutinarias dejen de causar full refreshes
Resultado final
La ventana de ingesta nocturna recuperó su duración original y los full refreshes recurrentes desaparecieron. El gasto del data warehouse asociado a la ingesta volvió aproximadamente a su nivel anterior al incidente.