Volver a todos los casos de uso

EvaluaciónMultisectorial

Un inventario sincero de lo que realmente hace su entorno de Airbyte

Grupo de servicios de seguros

Una revisión estructurada de un entorno de Airbyte que había crecido de forma orgánica: auditoría de versiones de conectores, modos de sincronización, gestión del estado y visibilidad de los fallos.

Descripción general

Los entornos de Airbyte tienden a acumular cosas. Las conexiones se añaden rápido porque es fácil hacerlo, y al cabo de un año nadie sabe qué conectores están fijados en versiones antiguas, qué streams hacen full refresh sin motivo o qué pipelines no consume nada aguas abajo.

Reto

El equipo de la plataforma de datos tenía más de cien conexiones repartidas en varios workspaces. Las versiones de los conectores variaban mucho, los conectores personalizados los habían desarrollado personas que ya no estaban en la empresa y no había un patrón coherente para claves primarias, deduplicación ni gestión de dead-letter. Nadie podía estimar el alcance del impacto de actualizar un conector.

Entorno

Airbyte autoalojado en Kubernetes con una mezcla de conectores certificados, de la comunidad y desarrollados internamente que alimentan un data warehouse en la nube.

Enfoque

AceMQ inventarió todas las conexiones a través de la API de Airbyte y relacionó cada stream con sus consumidores aguas abajo; después puntuó las conexiones según la actualidad de su versión, la idoneidad del modo de sincronización, la fiabilidad del estado y la observabilidad. El resultado fue una lista priorizada de correcciones y no una puntuación genérica de madurez.

Solución

  1. Inventario completo de workspaces, conexiones, streams y versiones de conectores a través de la API de Airbyte
  2. Relación de cada stream con los modelos del data warehouse aguas abajo para identificar pipelines sin uso y huérfanos
  3. Señalización de los streams cuyo modo de sincronización no se ajusta a las características de cambio de la tabla
  4. Revisión del código de los conectores personalizados en busca de carencias en reintentos, paginación y gestión de límites de tasa
  5. Entrega de una lista priorizada con estimaciones de esfuerzo y un plan de secuenciación de actualizaciones

Resultado final

El equipo retiró una parte considerable de conexiones que no alimentaban nada, consolidó las versiones de los conectores en una base con soporte y obtuvo una secuencia de actualización justificable en lugar de actualizar conectores incidente a incidente.

Tecnologías

AirbyteKubernetesPostgreSQLdbtKafka

¿Preparado para un health check de Airbyte?

Los ingenieros sénior de Airbyte de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.