Retour à tous les cas d'usage

RemédiationMultisectoriel

Débusquer la synchronisation au vert pendant que la table de l'entrepôt de données se périme

Acteur de l'analytique retail

Diagnostic d'une connexion Airbyte qui continuait de signaler des synchronisations réussies alors que la table de destination cessait discrètement d'être à jour après une modification de schéma en amont.

Présentation

Le mode de défaillance le plus coûteux d'Airbyte n'est pas un job en rouge : c'est un job en vert. Lorsqu'une source ajoute, renomme ou change le type d'une colonne et que la politique de propagation de schéma de la connexion l'ignore silencieusement, les enregistrements continuent d'arriver, mais les colonnes sur lesquelles l'entreprise s'appuie pour son reporting ne sont plus mises à jour.

Défi

Une application source a livré une version qui renommait deux colonnes et transformait un champ numérique en chaîne de caractères. La connexion Airbyte continuait de se terminer sans erreur, mais les modèles en aval construits sur ces champs renvoyaient des valeurs nulles. Personne ne s'en est aperçu pendant plusieurs cycles de reporting, car toutes les alertes des tableaux de bord portaient sur le statut des jobs et non sur la fraîcheur des données.

Environnement

Airbyte autohébergé sur Kubernetes, synchronisant des sources PostgreSQL et SaaS vers un entrepôt de données cloud, avec des modèles dbt qui consomment la couche brute.

Approche

Les ingénieurs d'AceMQ ont extrait l'historique du catalogue de la connexion et comparé le schéma découvert au schéma de flux configuré, afin d'identifier précisément quels champs avaient dérivé et à quel moment. Nous avons ensuite retracé le comportement de normalisation côté destination, corrigé la politique de gestion des changements de schéma et rechargé les périodes concernées par lots maîtrisés plutôt qu'en un seul rafraîchissement complet.

Solution

  1. Comparaison des catalogues sources découverts avec les schémas de flux configurés pour repérer les champs ayant dérivé ou disparu
  2. Redéfinition, flux par flux, de la politique de propagation des changements de schéma, pour que les changements cassants échouent bruyamment au lieu de tronquer les données en silence
  3. Reconstruction des flux concernés avec des clés primaires et des champs de curseur corrigés
  4. Rechargement des plages de dates impactées par lots bornés, pour éviter les pics de crédits sur l'entrepôt de données
  5. Ajout de contrôles de fraîcheur et de volumétrie côté destination, pour que l'obsolescence des données déclenche une alerte indépendamment du statut des jobs

Résultat obtenu

Les colonnes obsolètes ont été réalimentées et la connexion échoue désormais de façon visible lorsqu'un schéma source change d'une manière qu'elle ne peut pas absorber. L'équipe a cessé de considérer le statut des jobs comme un indicateur de l'exactitude des données.

Technologies

AirbytePostgreSQLSnowflakeKubernetesdbt

Confronté à un incident de production Airbyte ?

Les ingénieurs Airbyte seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.