Présentation
Les synchronisations incrémentales reposent sur un curseur stable et sur la conservation de l'état de la connexion. Dès que l'un ou l'autre est invalidé — par une modification de configuration, une montée de version du connecteur ou une colonne de curseur non monotone —, Airbyte se rabat sur une relecture complète, et le coût se retrouve dans l'entrepôt de données plutôt que dans Airbyte lui-même.
Défi
Une connexion nocturne portant sur une table de plusieurs centaines de millions de lignes s'est mise à tourner pendant des heures au lieu de quelques minutes. La colonne de curseur était un horodatage de mise à jour que l'application antidatait parfois : certains enregistrements étaient donc ignorés lors de certaines exécutions, et le correctif de l'équipe — réinitialiser la connexion — déclenchait à chaque fois une relecture complète. Le calcul consommé dans l'entrepôt pendant la fenêtre d'ingestion a été multiplié plusieurs fois.
Environnement
Airbyte Cloud et workers autogérés sur AWS, sources PostgreSQL, destination vers un entrepôt de données cloud facturé au calcul consommé.
Approche
AceMQ a examiné les payloads d'état de la connexion sur les exécutions récentes pour confirmer à quel endroit l'état était perdu, puis a évalué si la table relevait plutôt d'une synchronisation incrémentale par curseur ou d'une CDC basée sur les journaux. Nous avons basculé les flux les plus volumineux en CDC et laissé les tables de référence peu modifiées en full refresh planifié, lorsque c'est réellement l'option la moins coûteuse.
Solution
- Suivi des payloads d'état par flux d'une exécution à l'autre pour repérer où l'état incrémental était invalidé
- Remplacement d'un curseur d'horodatage peu fiable par une CDC basée sur les journaux pour les tables les plus volumineuses
- Séparation des flux à forte et à faible volatilité dans des connexions distinctes, avec des planifications différentes
- Réglage de la concurrence des synchronisations et de la taille des lots côté destination pour lisser la sollicitation du cluster de l'entrepôt
- Documentation des modifications de configuration qui déclenchent une réinitialisation de l'état, afin que les changements courants ne provoquent plus de full refresh
Résultat obtenu
La fenêtre d'ingestion nocturne a retrouvé sa durée d'origine et les full refresh récurrents ont cessé. Les dépenses d'entrepôt liées à l'ingestion sont revenues à peu près à leur niveau d'avant l'incident.