Panoramica
La modalità di guasto più dannosa di Airbyte non è un job rosso, ma uno verde. Quando una sorgente aggiunge, rinomina o cambia il tipo di una colonna e la policy di propagazione dello schema della connessione lo ignora senza avvisare, i record continuano ad arrivare ma le colonne su cui il business costruisce i report smettono di aggiornarsi.
Sfida
Un'applicazione sorgente ha rilasciato una versione che rinominava due colonne e trasformava un campo numerico in stringa. La connessione Airbyte continuava a completarsi senza errori, ma i modelli a valle basati su quei campi restituivano valori null. Nessuno se n'è accorto per diversi cicli di reporting, perché ogni alert delle dashboard era collegato allo stato dei job e non alla freschezza dei dati.
Ambiente
Airbyte self-hosted su Kubernetes che sincronizza sorgenti PostgreSQL e SaaS in un data warehouse cloud, con modelli dbt che consumano il layer raw.
Approccio
Gli ingegneri AceMQ hanno recuperato lo storico del catalogo della connessione e confrontato lo schema rilevato con quello configurato per gli stream, individuando con precisione quali campi erano cambiati e quando. Da lì hanno ricostruito il comportamento di normalizzazione sulla destinazione, corretto la policy di gestione delle modifiche di schema ed eseguito il backfill delle finestre interessate in batch controllati, invece di un unico full refresh.
Soluzione
- Confronto tra i cataloghi sorgente rilevati e gli schemi degli stream configurati per individuare i campi modificati ed eliminati
- Ridefinizione per singolo stream della policy di propagazione delle modifiche di schema, così che le modifiche incompatibili generino un errore evidente invece di troncare i dati in silenzio
- Ricostruzione degli stream interessati con chiavi primarie e campi cursore corretti
- Backfill degli intervalli di date coinvolti in batch limitati, per evitare picchi di consumo di crediti nel warehouse
- Controlli di freschezza e di conteggio delle righe sulla destinazione, così che i dati obsoleti generino un alert indipendente dallo stato dei job
Esito
Le colonne obsolete sono state ripopolate e ora la connessione fallisce in modo visibile quando lo schema di una sorgente cambia in un modo che non è in grado di assorbire. Il team ha smesso di usare lo stato dei job come indicatore della correttezza dei dati.