Volver a todos los casos de uso

RemediaciónMultisectorial

La sincronización que se muestra en verde mientras la tabla del data warehouse se queda desactualizada

Organización de analítica para el comercio minorista

Diagnóstico de una conexión de Airbyte que seguía informando de ejecuciones correctas mientras la tabla de destino se quedaba desactualizada sin hacer ruido tras un cambio de esquema en el origen.

Descripción general

El modo de fallo más dañino de Airbyte no es un job en rojo, sino uno en verde. Cuando un origen añade, renombra o cambia el tipo de una columna y la política de propagación de esquema de la conexión lo ignora en silencio, los registros siguen llegando, pero las columnas sobre las que realmente informa el negocio dejan de actualizarse.

Reto

Una aplicación de origen publicó una versión que renombraba dos columnas y convertía un campo numérico en cadena de texto. La conexión de Airbyte seguía completándose sin errores, pero los modelos aguas abajo basados en esos campos devolvían nulos. Nadie se dio cuenta durante varios ciclos de reporting, porque todas las alertas de los dashboards estaban vinculadas al estado de los jobs y no a la frescura de los datos.

Entorno

Airbyte autoalojado en Kubernetes sincronizando orígenes PostgreSQL y SaaS hacia un data warehouse en la nube, con modelos de dbt que consumen la capa raw.

Enfoque

Los ingenieros de AceMQ recuperaron el historial del catálogo de la conexión y compararon el esquema descubierto con el esquema configurado de cada stream para determinar con exactitud qué campos habían derivado y cuándo. A partir de ahí analizamos el comportamiento de la normalización en el destino, corregimos la política de cambios de esquema y rellenamos las ventanas afectadas en lotes controlados en lugar de con un único full refresh.

Solución

  1. Comparación de los catálogos de origen descubiertos con los esquemas configurados de cada stream para identificar los campos con deriva y los descartados
  2. Restablecimiento de la política de propagación de cambios de esquema por stream, para que los cambios incompatibles fallen de forma visible en lugar de truncar datos en silencio
  3. Reconstrucción de los streams afectados con claves primarias y campos cursor corregidos
  4. Relleno de los rangos de fechas afectados en lotes acotados para evitar picos de consumo de créditos del data warehouse
  5. Controles de frescura y de número de filas en el destino, para que la desactualización de los datos genere alertas con independencia del estado de los jobs

Resultado final

Las columnas desactualizadas se volvieron a poblar y la conexión ahora falla de forma visible cuando un esquema de origen cambia de una manera que no puede absorber. El equipo dejó de usar el estado de los jobs como indicador de la exactitud de los datos.

Tecnologías

AirbytePostgreSQLSnowflakeKubernetesdbt

¿Se enfrenta a un problema de Airbyte en producción?

Los ingenieros sénior de Airbyte de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.