Visão geral
As sincronizações incrementais dependem de um cursor estável e de um estado da ligação preservado. Quando um deles é invalidado (por uma alteração de configuração, uma nova versão do conector ou uma coluna de cursor que não é monotónica), o Airbyte volta a ler tudo, e o custo recai no data warehouse e não no próprio Airbyte.
Desafio
Uma ligação noturna sobre uma tabela com várias centenas de milhões de linhas começou a demorar horas em vez de minutos. A coluna de cursor era um timestamp de atualização que a aplicação ocasionalmente retrodatava, pelo que alguns registos eram ignorados em certas execuções, e a solução da equipa (reiniciar a ligação) provocava de cada vez uma releitura completa. A computação do data warehouse na janela de ingestão multiplicou-se várias vezes.
Ambiente
Airbyte Cloud e workers autogeridos na AWS, origens PostgreSQL, destino num data warehouse na cloud com computação faturada por utilização.
Abordagem
A AceMQ analisou os payloads de estado da ligação nas execuções recentes para confirmar onde o estado estava a ser descartado e avaliou depois se a tabela era mais bem servida por incremental baseado em cursor ou por CDC baseado em logs. Passámos os streams de maior volume para CDC e mantivemos as tabelas de referência com poucas alterações em full refresh agendado, onde essa é realmente a opção mais barata.
Solução
- Rastreio dos payloads de estado por stream ao longo das execuções para identificar onde o estado incremental era invalidado
- Substituição de um cursor de timestamp pouco fiável por CDC baseado em logs nas tabelas de maior volume
- Separação dos streams com muitas e com poucas alterações em ligações distintas, com agendamentos distintos
- Afinação da concorrência de sincronização e do tamanho dos lotes no destino para suavizar a procura no cluster do data warehouse
- Documentação das alterações de configuração que provocam a reposição do estado, para que as edições de rotina deixem de causar full refreshes
Resultado final
A janela de ingestão noturna regressou à duração original e os full refreshes recorrentes pararam. A despesa do data warehouse com a carga de ingestão voltou aproximadamente ao nível anterior ao incidente.