Volver a todos los casos de uso

RemediaciónMultisectorial

Encontrar la sincronización que se ve en verde mientras la tabla del warehouse queda desactualizada

Organización de analítica minorista

Diagnóstico de una conexión de Airbyte que seguía informando éxito mientras la tabla de destino quedaba desactualizada sin aviso tras un cambio de esquema en el origen.

Descripción general

El modo de falla más dañino de Airbyte no es un job en rojo, sino uno en verde. Cuando un origen agrega, renombra o cambia el tipo de una columna y la política de propagación de esquemas de la conexión lo ignora sin avisar, los registros siguen llegando, pero las columnas sobre las que el negocio realmente reporta dejan de actualizarse.

Desafío

Una aplicación de origen publicó una versión que renombró dos columnas y cambió un campo numérico a texto. La conexión de Airbyte siguió completándose sin errores, pero los modelos downstream construidos sobre esos campos devolvían nulos. Nadie lo notó durante varios ciclos de reportes porque todas las alertas de los dashboards estaban atadas al estado de los jobs y no a la frescura de los datos.

Entorno

Airbyte autoalojado en Kubernetes que sincroniza PostgreSQL y orígenes SaaS hacia un data warehouse en la nube, con modelos de dbt que consumen la capa raw.

Enfoque

Los ingenieros de AceMQ extrajeron el historial del catálogo de la conexión y compararon el esquema descubierto con el esquema configurado del stream para determinar con exactitud qué campos habían cambiado y cuándo. A partir de ahí rastreamos el comportamiento de normalización en el destino, corregimos la política de cambios de esquema y rellenamos las ventanas afectadas en lotes controlados en lugar de un único full refresh.

Solución

  1. Comparación de los catálogos descubiertos en el origen con los esquemas configurados de cada stream para identificar los campos modificados y descartados
  2. Redefinición de la política de propagación de cambios de esquema por stream, para que los cambios incompatibles fallen de forma visible en lugar de truncar datos en silencio
  3. Reconstrucción de los streams afectados con las primary keys y los cursor fields corregidos
  4. Backfill de los rangos de fechas afectados en lotes acotados, para evitar picos de consumo de créditos en el warehouse
  5. Controles de frescura y de cantidad de filas en el destino, para que la desactualización de los datos genere alertas independientemente del estado de los jobs

Resultado final

Las columnas desactualizadas se volvieron a poblar y ahora la conexión falla de forma visible cuando un esquema de origen cambia de una manera que no puede absorber. El equipo dejó de usar el estado de los jobs como indicador de la exactitud de los datos.

Tecnologías

AirbytePostgreSQLSnowflakeKubernetesdbt

¿Enfrenta un problema de Airbyte en producción?

Los ingenieros sénior de Airbyte de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.