Présentation
Les parcs Airbyte ont tendance à s'accumuler. On ajoute des connexions rapidement parce que c'est facile, et au bout d'un an personne ne sait plus quels connecteurs sont figés sur d'anciennes versions, quels streams sont en full refresh sans raison, ni quels pipelines ne sont consommés par rien en aval.
Défi
L'équipe de la plateforme de données gérait plus d'une centaine de connexions réparties sur plusieurs workspaces. Les versions de connecteurs variaient fortement, des connecteurs personnalisés avaient été développés par des personnes parties depuis, et il n'existait aucun modèle cohérent pour les clés primaires, la déduplication ou le traitement des dead letters. Personne ne pouvait estimer l'impact potentiel d'une mise à niveau de connecteur.
Environnement
Airbyte auto-hébergé sur Kubernetes, avec un mélange de connecteurs certifiés, communautaires et développés en interne, alimentant un entrepôt de données dans le cloud.
Approche
AceMQ a inventorié chaque connexion via l'API Airbyte et associé chaque stream à ses consommateurs en aval, puis noté les connexions selon l'actualité de leur version, l'adéquation du mode de synchronisation, la fiabilité de l'état et l'observabilité. Le livrable était un backlog de remédiation priorisé plutôt qu'un score de maturité générique.
Solution
- Inventaire complet des workspaces, des connexions, des streams et des versions de connecteurs via l'API Airbyte
- Association de chaque stream aux modèles de l'entrepôt en aval pour identifier les pipelines inutilisés et orphelins
- Signalement des streams dont le mode de synchronisation ne correspond pas à la façon dont la table évolue
- Revue du code des connecteurs personnalisés pour repérer les lacunes dans la gestion des relances, de la pagination et des limites de débit
- Livraison d'un backlog priorisé avec des estimations de charge et un plan d'ordonnancement des mises à niveau
Résultat obtenu
L'équipe a supprimé une part significative des connexions qui n'alimentaient rien, regroupé les versions de connecteurs sur une base supportée et obtenu une séquence de mise à niveau justifiable, au lieu de mettre à niveau les connecteurs au gré des incidents.