Descripción general
El modo de fallo más dañino de Airbyte no es un job en rojo, sino uno en verde. Cuando un origen añade, renombra o cambia el tipo de una columna y la política de propagación de esquema de la conexión lo ignora en silencio, los registros siguen llegando, pero las columnas sobre las que realmente informa el negocio dejan de actualizarse.
Reto
Una aplicación de origen publicó una versión que renombraba dos columnas y convertía un campo numérico en cadena de texto. La conexión de Airbyte seguía completándose sin errores, pero los modelos aguas abajo basados en esos campos devolvían nulos. Nadie se dio cuenta durante varios ciclos de reporting, porque todas las alertas de los dashboards estaban vinculadas al estado de los jobs y no a la frescura de los datos.
Entorno
Airbyte autoalojado en Kubernetes sincronizando orígenes PostgreSQL y SaaS hacia un data warehouse en la nube, con modelos de dbt que consumen la capa raw.
Enfoque
Los ingenieros de AceMQ recuperaron el historial del catálogo de la conexión y compararon el esquema descubierto con el esquema configurado de cada stream para determinar con exactitud qué campos habían derivado y cuándo. A partir de ahí analizamos el comportamiento de la normalización en el destino, corregimos la política de cambios de esquema y rellenamos las ventanas afectadas en lotes controlados en lugar de con un único full refresh.
Solución
- Comparación de los catálogos de origen descubiertos con los esquemas configurados de cada stream para identificar los campos con deriva y los descartados
- Restablecimiento de la política de propagación de cambios de esquema por stream, para que los cambios incompatibles fallen de forma visible en lugar de truncar datos en silencio
- Reconstrucción de los streams afectados con claves primarias y campos cursor corregidos
- Relleno de los rangos de fechas afectados en lotes acotados para evitar picos de consumo de créditos del data warehouse
- Controles de frescura y de número de filas en el destino, para que la desactualización de los datos genere alertas con independencia del estado de los jobs
Resultado final
Las columnas desactualizadas se volvieron a poblar y la conexión ahora falla de forma visible cuando un esquema de origen cambia de una manera que no puede absorber. El equipo dejó de usar el estado de los jobs como indicador de la exactitud de los datos.