Torna a tutti i casi d'uso

SupportoSoftware / Piattaforme digitali

Quando l'incrementale diventa in silenzio un full refresh, è la bolletta del warehouse ad accorgersene per prima

Fornitore di software in abbonamento

Fermare una connessione Airbyte che continuava a uscire dalla modalità incrementale e a rieseguire ogni notte un full refresh su una tabella di grandi dimensioni.

Panoramica

I sync incrementali dipendono da un cursore stabile e da uno stato della connessione preservato. Quando uno dei due viene invalidato (da una modifica di configurazione, da un aggiornamento di versione del connettore o da una colonna cursore non monotona), Airbyte ripiega sulla lettura completa, e il costo ricade sul data warehouse anziché su Airbyte.

Sfida

Una connessione notturna su una tabella da diverse centinaia di milioni di righe ha iniziato a durare ore anziché minuti. La colonna cursore era un timestamp updated-at che l'applicazione a volte retrodatava, per cui in alcune esecuzioni dei record venivano saltati, e la soluzione adottata dal team (il reset della connessione) innescava ogni volta una rilettura completa. Il calcolo del warehouse nella finestra di ingestion si è moltiplicato più volte.

Ambiente

Airbyte Cloud e worker autogestiti su AWS, sorgenti PostgreSQL, destinazione su un data warehouse cloud con prezzi del calcolo a consumo.

Approccio

AceMQ ha esaminato i payload di stato della connessione nelle esecuzioni recenti per confermare dove lo stato veniva scartato, quindi ha valutato se per la tabella fosse più adatto un incrementale basato su cursore o una CDC basata sui log. Abbiamo spostato in CDC gli stream con i volumi più alti e lasciato in full refresh pianificato le tabelle di riferimento poco variabili, dove questa è davvero l'opzione più economica.

Soluzione

  1. Tracciati i payload di stato per stream nelle varie esecuzioni per individuare dove lo stato incrementale veniva invalidato
  2. Sostituito un cursore timestamp inaffidabile con una CDC basata sui log per le tabelle con i volumi più alti
  3. Separati gli stream ad alta e a bassa variabilità in connessioni diverse con pianificazioni diverse
  4. Ottimizzati la concorrenza dei sync e il dimensionamento dei batch verso la destinazione per livellare la domanda sul cluster del warehouse
  5. Documentate le modifiche di configurazione che provocano un reset dello stato, così che le modifiche di routine non causino più full refresh

Esito

La finestra di ingestion notturna è tornata alla durata originale e i full refresh ricorrenti si sono interrotti. La spesa del warehouse per il carico di ingestion è tornata all'incirca ai livelli precedenti all'incidente.

Tecnologie

AirbytePostgreSQLSnowflakeDebezium

Vi serve supporto specialistico per Airbyte?

Gli ingegneri Airbyte senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.