Présentation
La plupart des déploiements Airbyte commencent par l'installation Helm de quelqu'un et finissent par porter des flux de données de production. Ce qui sépare ces deux états, c'est l'isolation des ressources, la gestion des identifiants, la sauvegarde de la base de données interne et un chemin de reprise testé.
Défi
La plateforme tournait avec les requêtes de ressources par défaut, des identifiants de sources stockés en clair dans la configuration et aucune sauvegarde de la base de données interne d'Airbyte, qui contient l'état des connexions. Une seule éviction de nœud pouvait interrompre les synchronisations en cours, et la perte de la base interne aurait obligé à réenregistrer chaque connexion et à relire chaque source depuis le début.
Environnement
Airbyte sur un cluster Kubernetes managé, base de données interne PostgreSQL, sources allant des systèmes bancaires cœur aux plateformes SaaS, le tout soumis aux exigences de l'audit interne.
Approche
AceMQ a travaillé avec l'équipe plateforme pour définir des classes de ressources pour les pods de synchronisation, transférer les identifiants dans un gestionnaire de secrets externe et soumettre la base de données interne à un cycle de sauvegarde et de restauration testé. Nous avons également séparé les charges pour qu'une synchronisation lourde ne puisse pas priver le scheduler de ressources.
Solution
- Définition de requêtes et de limites de ressources par connexion, pour que les grosses synchronisations ne puissent pas évincer le plan de contrôle
- Transfert des identifiants des sources et des destinations dans un gestionnaire de secrets externe, avec des procédures de rotation
- Mise en place de sauvegardes et de restaurations testées pour la base de données interne d'Airbyte qui contient l'état des connexions
- Répartition des charges de synchronisation sur des node pools dédiés, avec les tolerations appropriées
- Rédaction de runbooks pour les mises à niveau des connecteurs, les jobs bloqués et la reprise complète du cluster
- Ajout de métriques et d'alertes sur la durée des jobs, le taux d'échec et la fraîcheur des données en destination
Résultat obtenu
Le déploiement a résisté à un test volontaire de drainage de nœud, les synchronisations reprenant à partir de leur état, et l'équipe dispose de procédures de reprise documentées qu'elle peut présenter aux auditeurs au lieu de les décrire de mémoire.