Descripción general
Los entornos de Airbyte tienden a acumular cosas. Las conexiones se añaden rápido porque es fácil hacerlo, y al cabo de un año nadie sabe qué conectores están fijados en versiones antiguas, qué streams hacen full refresh sin motivo o qué pipelines no consume nada aguas abajo.
Reto
El equipo de la plataforma de datos tenía más de cien conexiones repartidas en varios workspaces. Las versiones de los conectores variaban mucho, los conectores personalizados los habían desarrollado personas que ya no estaban en la empresa y no había un patrón coherente para claves primarias, deduplicación ni gestión de dead-letter. Nadie podía estimar el alcance del impacto de actualizar un conector.
Entorno
Airbyte autoalojado en Kubernetes con una mezcla de conectores certificados, de la comunidad y desarrollados internamente que alimentan un data warehouse en la nube.
Enfoque
AceMQ inventarió todas las conexiones a través de la API de Airbyte y relacionó cada stream con sus consumidores aguas abajo; después puntuó las conexiones según la actualidad de su versión, la idoneidad del modo de sincronización, la fiabilidad del estado y la observabilidad. El resultado fue una lista priorizada de correcciones y no una puntuación genérica de madurez.
Solución
- Inventario completo de workspaces, conexiones, streams y versiones de conectores a través de la API de Airbyte
- Relación de cada stream con los modelos del data warehouse aguas abajo para identificar pipelines sin uso y huérfanos
- Señalización de los streams cuyo modo de sincronización no se ajusta a las características de cambio de la tabla
- Revisión del código de los conectores personalizados en busca de carencias en reintentos, paginación y gestión de límites de tasa
- Entrega de una lista priorizada con estimaciones de esfuerzo y un plan de secuenciación de actualizaciones
Resultado final
El equipo retiró una parte considerable de conexiones que no alimentaban nada, consolidó las versiones de los conectores en una base con soporte y obtuvo una secuencia de actualización justificable en lugar de actualizar conectores incidente a incidente.