Torna a tutti i casi d'uso

RemediationTrasversale

Trovare la sync che risulta verde mentre la tabella del warehouse smette di aggiornarsi

Organizzazione di analisi per il retail

Diagnosi di una connessione Airbyte che continuava a segnalare esito positivo mentre la tabella di destinazione diventava silenziosamente obsoleta dopo una modifica dello schema a monte.

Panoramica

La modalità di guasto più dannosa di Airbyte non è un job rosso, ma uno verde. Quando una sorgente aggiunge, rinomina o cambia il tipo di una colonna e la policy di propagazione dello schema della connessione lo ignora senza avvisare, i record continuano ad arrivare ma le colonne su cui il business costruisce i report smettono di aggiornarsi.

Sfida

Un'applicazione sorgente ha rilasciato una versione che rinominava due colonne e trasformava un campo numerico in stringa. La connessione Airbyte continuava a completarsi senza errori, ma i modelli a valle basati su quei campi restituivano valori null. Nessuno se n'è accorto per diversi cicli di reporting, perché ogni alert delle dashboard era collegato allo stato dei job e non alla freschezza dei dati.

Ambiente

Airbyte self-hosted su Kubernetes che sincronizza sorgenti PostgreSQL e SaaS in un data warehouse cloud, con modelli dbt che consumano il layer raw.

Approccio

Gli ingegneri AceMQ hanno recuperato lo storico del catalogo della connessione e confrontato lo schema rilevato con quello configurato per gli stream, individuando con precisione quali campi erano cambiati e quando. Da lì hanno ricostruito il comportamento di normalizzazione sulla destinazione, corretto la policy di gestione delle modifiche di schema ed eseguito il backfill delle finestre interessate in batch controllati, invece di un unico full refresh.

Soluzione

  1. Confronto tra i cataloghi sorgente rilevati e gli schemi degli stream configurati per individuare i campi modificati ed eliminati
  2. Ridefinizione per singolo stream della policy di propagazione delle modifiche di schema, così che le modifiche incompatibili generino un errore evidente invece di troncare i dati in silenzio
  3. Ricostruzione degli stream interessati con chiavi primarie e campi cursore corretti
  4. Backfill degli intervalli di date coinvolti in batch limitati, per evitare picchi di consumo di crediti nel warehouse
  5. Controlli di freschezza e di conteggio delle righe sulla destinazione, così che i dati obsoleti generino un alert indipendente dallo stato dei job

Esito

Le colonne obsolete sono state ripopolate e ora la connessione fallisce in modo visibile quando lo schema di una sorgente cambia in un modo che non è in grado di assorbire. Il team ha smesso di usare lo stato dei job come indicatore della correttezza dei dati.

Tecnologie

AirbytePostgreSQLSnowflakeKubernetesdbt

Avete un problema di produzione su Airbyte?

Gli ingegneri Airbyte senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.