Descripción general
Los entornos de Airbyte tienden a acumular cosas. Las conexiones se agregan rápido porque es fácil agregarlas, y después de un año nadie puede decir qué conectores están fijados en versiones antiguas, qué streams usan full refresh sin motivo o qué pipelines no alimentan nada aguas abajo.
Desafío
El equipo de la plataforma de datos tenía más de cien conexiones repartidas en varios workspaces. Las versiones de los conectores variaban mucho, algunos conectores personalizados los habían desarrollado personas que ya no estaban en la empresa y no había un patrón uniforme para las primary keys, la deduplicación o el manejo de dead letters. Nadie podía estimar el radio de impacto de una actualización de conectores.
Entorno
Airbyte autoalojado en Kubernetes con una mezcla de conectores certificados, de la comunidad y desarrollados internamente, que alimentan un data warehouse en la nube.
Enfoque
AceMQ inventarió cada conexión a través de la API de Airbyte y relacionó cada stream con sus consumidores aguas abajo; luego calificó las conexiones según la vigencia de su versión, la adecuación del modo de sincronización, la confiabilidad del estado y la observabilidad. El resultado fue un backlog de correcciones priorizado y no una calificación de madurez genérica.
Solución
- Inventario completo de workspaces, conexiones, streams y versiones de conectores mediante la API de Airbyte
- Relación de cada stream con los modelos del data warehouse aguas abajo para identificar pipelines sin uso y huérfanos
- Señalamiento de los streams cuyo modo de sincronización no corresponde a la forma en que cambia la tabla
- Revisión del código de los conectores personalizados para detectar fallas en el manejo de reintentos, paginación y límites de tasa
- Entrega de un backlog priorizado con estimaciones de esfuerzo y un plan de secuencia de actualizaciones
Resultado final
El equipo dio de baja una parte considerable de las conexiones que no alimentaban nada, consolidó las versiones de los conectores en una base con soporte y obtuvo una secuencia de actualización bien fundamentada, en lugar de actualizar los conectores de a uno cada vez que había un incidente.