Descripción general
El modo de falla más dañino de Airbyte no es un job en rojo, sino uno en verde. Cuando un origen agrega, renombra o cambia el tipo de una columna y la política de propagación de esquemas de la conexión lo ignora sin avisar, los registros siguen llegando, pero las columnas sobre las que el negocio realmente reporta dejan de actualizarse.
Desafío
Una aplicación de origen publicó una versión que renombró dos columnas y cambió un campo numérico a texto. La conexión de Airbyte siguió completándose sin errores, pero los modelos downstream construidos sobre esos campos devolvían nulos. Nadie lo notó durante varios ciclos de reportes porque todas las alertas de los dashboards estaban atadas al estado de los jobs y no a la frescura de los datos.
Entorno
Airbyte autoalojado en Kubernetes que sincroniza PostgreSQL y orígenes SaaS hacia un data warehouse en la nube, con modelos de dbt que consumen la capa raw.
Enfoque
Los ingenieros de AceMQ extrajeron el historial del catálogo de la conexión y compararon el esquema descubierto con el esquema configurado del stream para determinar con exactitud qué campos habían cambiado y cuándo. A partir de ahí rastreamos el comportamiento de normalización en el destino, corregimos la política de cambios de esquema y rellenamos las ventanas afectadas en lotes controlados en lugar de un único full refresh.
Solución
- Comparación de los catálogos descubiertos en el origen con los esquemas configurados de cada stream para identificar los campos modificados y descartados
- Redefinición de la política de propagación de cambios de esquema por stream, para que los cambios incompatibles fallen de forma visible en lugar de truncar datos en silencio
- Reconstrucción de los streams afectados con las primary keys y los cursor fields corregidos
- Backfill de los rangos de fechas afectados en lotes acotados, para evitar picos de consumo de créditos en el warehouse
- Controles de frescura y de cantidad de filas en el destino, para que la desactualización de los datos genere alertas independientemente del estado de los jobs
Resultado final
Las columnas desactualizadas se volvieron a poblar y ahora la conexión falla de forma visible cuando un esquema de origen cambia de una manera que no puede absorber. El equipo dejó de usar el estado de los jobs como indicador de la exactitud de los datos.