Voltar para todos os casos de uso

SuporteSoftware / plataformas digitais

Quando o incremental vira full refresh sem avisar, quem avisa primeiro é a conta do data warehouse

Fornecedor de software por assinatura

Como resolvemos uma conexão do Airbyte que vivia saindo do modo incremental e rodando full refreshes em uma tabela grande todas as noites.

Visão geral

Os syncs incrementais dependem de um cursor estável e de um estado de conexão preservado. Quando qualquer um dos dois é invalidado — por uma mudança de configuração, um upgrade de versão do conector ou uma coluna de cursor que não é monotônica —, o Airbyte volta a ler tudo, e o custo cai no data warehouse, e não no próprio Airbyte.

Desafio

Uma conexão noturna sobre uma tabela com várias centenas de milhões de linhas passou a rodar por horas em vez de minutos. A coluna de cursor era um timestamp de atualização que a aplicação às vezes retroagia, de modo que alguns registros eram pulados em certas execuções, e a solução da equipe — resetar a conexão — disparava uma releitura completa a cada vez. O processamento do data warehouse na janela de ingestão se multiplicou várias vezes.

Ambiente

Airbyte Cloud e workers autogerenciados na AWS, origens PostgreSQL e um data warehouse em nuvem como destino, com processamento cobrado por uso.

Abordagem

A AceMQ revisou os payloads de estado da conexão nas execuções recentes para confirmar em que ponto o estado estava sendo descartado e depois avaliou se a tabela ficaria melhor com incremental baseado em cursor ou com CDC baseado em log. Passamos os streams de maior volume para CDC e deixamos as tabelas de referência com pouca alteração em full refresh agendado, onde essa é de fato a opção mais barata.

Solução

  1. Rastreamento dos payloads de estado por stream entre as execuções para identificar onde o estado incremental estava sendo invalidado
  2. Substituição de um cursor de timestamp pouco confiável por CDC baseado em log nas tabelas de maior volume
  3. Separação dos streams de alta e de baixa alteração em conexões diferentes, com agendamentos diferentes
  4. Ajuste da concorrência dos syncs e do tamanho dos lotes no destino para suavizar a demanda sobre o cluster do data warehouse
  5. Documentação das mudanças de configuração que disparam um reset de estado, para que edições de rotina deixem de causar full refreshes

Resultado obtido

A janela de ingestão noturna voltou à duração original e os full refreshes recorrentes pararam. O gasto do data warehouse com a carga de ingestão voltou mais ou menos ao nível anterior ao incidente.

Tecnologias

AirbytePostgreSQLSnowflakeDebezium

Precisa de suporte especializado em Airbyte?

Os engenheiros Airbyte sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.