Visão geral
Os syncs incrementais dependem de um cursor estável e de um estado de conexão preservado. Quando qualquer um dos dois é invalidado — por uma mudança de configuração, um upgrade de versão do conector ou uma coluna de cursor que não é monotônica —, o Airbyte volta a ler tudo, e o custo cai no data warehouse, e não no próprio Airbyte.
Desafio
Uma conexão noturna sobre uma tabela com várias centenas de milhões de linhas passou a rodar por horas em vez de minutos. A coluna de cursor era um timestamp de atualização que a aplicação às vezes retroagia, de modo que alguns registros eram pulados em certas execuções, e a solução da equipe — resetar a conexão — disparava uma releitura completa a cada vez. O processamento do data warehouse na janela de ingestão se multiplicou várias vezes.
Ambiente
Airbyte Cloud e workers autogerenciados na AWS, origens PostgreSQL e um data warehouse em nuvem como destino, com processamento cobrado por uso.
Abordagem
A AceMQ revisou os payloads de estado da conexão nas execuções recentes para confirmar em que ponto o estado estava sendo descartado e depois avaliou se a tabela ficaria melhor com incremental baseado em cursor ou com CDC baseado em log. Passamos os streams de maior volume para CDC e deixamos as tabelas de referência com pouca alteração em full refresh agendado, onde essa é de fato a opção mais barata.
Solução
- Rastreamento dos payloads de estado por stream entre as execuções para identificar onde o estado incremental estava sendo invalidado
- Substituição de um cursor de timestamp pouco confiável por CDC baseado em log nas tabelas de maior volume
- Separação dos streams de alta e de baixa alteração em conexões diferentes, com agendamentos diferentes
- Ajuste da concorrência dos syncs e do tamanho dos lotes no destino para suavizar a demanda sobre o cluster do data warehouse
- Documentação das mudanças de configuração que disparam um reset de estado, para que edições de rotina deixem de causar full refreshes
Resultado obtido
A janela de ingestão noturna voltou à duração original e os full refreshes recorrentes pararam. O gasto do data warehouse com a carga de ingestão voltou mais ou menos ao nível anterior ao incidente.