Volver a todos los casos de uso

EvaluaciónMultisectorial

Un inventario honesto de lo que realmente hace su entorno de Airbyte

Grupo de servicios de seguros

Revisión estructurada de un entorno de Airbyte que había crecido de forma orgánica: auditoría de versiones de conectores, modos de sincronización, manejo del estado y visibilidad de las fallas.

Descripción general

Los entornos de Airbyte tienden a acumular cosas. Las conexiones se agregan rápido porque es fácil agregarlas, y después de un año nadie puede decir qué conectores están fijados en versiones antiguas, qué streams usan full refresh sin motivo o qué pipelines no alimentan nada aguas abajo.

Desafío

El equipo de la plataforma de datos tenía más de cien conexiones repartidas en varios workspaces. Las versiones de los conectores variaban mucho, algunos conectores personalizados los habían desarrollado personas que ya no estaban en la empresa y no había un patrón uniforme para las primary keys, la deduplicación o el manejo de dead letters. Nadie podía estimar el radio de impacto de una actualización de conectores.

Entorno

Airbyte autoalojado en Kubernetes con una mezcla de conectores certificados, de la comunidad y desarrollados internamente, que alimentan un data warehouse en la nube.

Enfoque

AceMQ inventarió cada conexión a través de la API de Airbyte y relacionó cada stream con sus consumidores aguas abajo; luego calificó las conexiones según la vigencia de su versión, la adecuación del modo de sincronización, la confiabilidad del estado y la observabilidad. El resultado fue un backlog de correcciones priorizado y no una calificación de madurez genérica.

Solución

  1. Inventario completo de workspaces, conexiones, streams y versiones de conectores mediante la API de Airbyte
  2. Relación de cada stream con los modelos del data warehouse aguas abajo para identificar pipelines sin uso y huérfanos
  3. Señalamiento de los streams cuyo modo de sincronización no corresponde a la forma en que cambia la tabla
  4. Revisión del código de los conectores personalizados para detectar fallas en el manejo de reintentos, paginación y límites de tasa
  5. Entrega de un backlog priorizado con estimaciones de esfuerzo y un plan de secuencia de actualizaciones

Resultado final

El equipo dio de baja una parte considerable de las conexiones que no alimentaban nada, consolidó las versiones de los conectores en una base con soporte y obtuvo una secuencia de actualización bien fundamentada, en lugar de actualizar los conectores de a uno cada vez que había un incidente.

Tecnologías

AirbyteKubernetesPostgreSQLdbtKafka

¿Listo para un health check de Airbyte?

Los ingenieros sénior de Airbyte de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.