Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Cuando el incremental se convierte en full refresh sin avisar, la factura del warehouse es lo primero que lo revela

Proveedor de software por suscripción

Cómo frenar una conexión de Airbyte que salía una y otra vez del modo incremental y volvía a ejecutar full refreshes sobre una tabla grande todas las noches.

Descripción general

Los syncs incrementales dependen de un cursor estable y de que se conserve el estado de la conexión. Cuando cualquiera de los dos se invalida (por un cambio de configuración, un salto de versión del conector o una columna cursor que no es monótona), Airbyte vuelve a leerlo todo, y el costo cae en el warehouse y no en Airbyte.

Desafío

Una conexión nocturna sobre una tabla de varios cientos de millones de filas pasó a tardar horas en lugar de minutos. La columna cursor era un timestamp de última actualización que la aplicación a veces fechaba hacia atrás, así que algunos registros se saltaban en ciertas ejecuciones, y la solución del equipo (reiniciar la conexión) disparaba cada vez una relectura completa. El cómputo del warehouse en la ventana de ingesta se multiplicó varias veces.

Entorno

Airbyte Cloud y workers autogestionados en AWS, orígenes PostgreSQL y un data warehouse en la nube como destino, con precios de cómputo según el uso.

Enfoque

AceMQ revisó los payloads de estado de la conexión en las ejecuciones recientes para confirmar dónde se estaba descartando el estado, y luego evaluó si a la tabla le convenía más un incremental basado en cursor o un CDC basado en logs. Pasamos los streams de mayor volumen a CDC y dejamos las tablas de referencia con pocos cambios en full refresh programado, donde realmente es la opción más barata.

Solución

  1. Seguimiento de los payloads de estado por stream entre ejecuciones para identificar dónde se invalidaba el estado incremental
  2. Reemplazo de un cursor de timestamp poco confiable por CDC basado en logs para las tablas de mayor volumen
  3. Separación de los streams con muchos y pocos cambios en conexiones distintas con horarios distintos
  4. Ajuste de la concurrencia de los syncs y del tamaño de los lotes en el destino para suavizar la demanda sobre el clúster del warehouse
  5. Documentación de qué cambios de configuración disparan un reinicio del estado, para que las ediciones de rutina dejen de provocar full refreshes

Resultado final

La ventana de ingesta nocturna volvió a su duración original y se terminaron los full refreshes recurrentes. El gasto del warehouse para la carga de ingesta volvió aproximadamente al nivel previo al incidente.

Tecnologías

AirbytePostgreSQLSnowflakeDebezium

¿Necesita soporte experto de Airbyte?

Los ingenieros sénior de Airbyte de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.