Panoramica
I sync incrementali dipendono da un cursore stabile e da uno stato della connessione preservato. Quando uno dei due viene invalidato (da una modifica di configurazione, da un aggiornamento di versione del connettore o da una colonna cursore non monotona), Airbyte ripiega sulla lettura completa, e il costo ricade sul data warehouse anziché su Airbyte.
Sfida
Una connessione notturna su una tabella da diverse centinaia di milioni di righe ha iniziato a durare ore anziché minuti. La colonna cursore era un timestamp updated-at che l'applicazione a volte retrodatava, per cui in alcune esecuzioni dei record venivano saltati, e la soluzione adottata dal team (il reset della connessione) innescava ogni volta una rilettura completa. Il calcolo del warehouse nella finestra di ingestion si è moltiplicato più volte.
Ambiente
Airbyte Cloud e worker autogestiti su AWS, sorgenti PostgreSQL, destinazione su un data warehouse cloud con prezzi del calcolo a consumo.
Approccio
AceMQ ha esaminato i payload di stato della connessione nelle esecuzioni recenti per confermare dove lo stato veniva scartato, quindi ha valutato se per la tabella fosse più adatto un incrementale basato su cursore o una CDC basata sui log. Abbiamo spostato in CDC gli stream con i volumi più alti e lasciato in full refresh pianificato le tabelle di riferimento poco variabili, dove questa è davvero l'opzione più economica.
Soluzione
- Tracciati i payload di stato per stream nelle varie esecuzioni per individuare dove lo stato incrementale veniva invalidato
- Sostituito un cursore timestamp inaffidabile con una CDC basata sui log per le tabelle con i volumi più alti
- Separati gli stream ad alta e a bassa variabilità in connessioni diverse con pianificazioni diverse
- Ottimizzati la concorrenza dei sync e il dimensionamento dei batch verso la destinazione per livellare la domanda sul cluster del warehouse
- Documentate le modifiche di configurazione che provocano un reset dello stato, così che le modifiche di routine non causino più full refresh
Esito
La finestra di ingestion notturna è tornata alla durata originale e i full refresh ricorrenti si sono interrotti. La spesa del warehouse per il carico di ingestion è tornata all'incirca ai livelli precedenti all'incidente.