Voltar a todos os casos de utilização

SuporteSoftware / Plataformas digitais

Quando o incremental passa silenciosamente a full refresh, é a fatura do data warehouse que avisa primeiro

Fornecedor de software por subscrição

Pôr fim a uma ligação Airbyte que saía constantemente do modo incremental e voltava a executar full refreshes de uma tabela de grande dimensão todas as noites.

Visão geral

As sincronizações incrementais dependem de um cursor estável e de um estado da ligação preservado. Quando um deles é invalidado (por uma alteração de configuração, uma nova versão do conector ou uma coluna de cursor que não é monotónica), o Airbyte volta a ler tudo, e o custo recai no data warehouse e não no próprio Airbyte.

Desafio

Uma ligação noturna sobre uma tabela com várias centenas de milhões de linhas começou a demorar horas em vez de minutos. A coluna de cursor era um timestamp de atualização que a aplicação ocasionalmente retrodatava, pelo que alguns registos eram ignorados em certas execuções, e a solução da equipa (reiniciar a ligação) provocava de cada vez uma releitura completa. A computação do data warehouse na janela de ingestão multiplicou-se várias vezes.

Ambiente

Airbyte Cloud e workers autogeridos na AWS, origens PostgreSQL, destino num data warehouse na cloud com computação faturada por utilização.

Abordagem

A AceMQ analisou os payloads de estado da ligação nas execuções recentes para confirmar onde o estado estava a ser descartado e avaliou depois se a tabela era mais bem servida por incremental baseado em cursor ou por CDC baseado em logs. Passámos os streams de maior volume para CDC e mantivemos as tabelas de referência com poucas alterações em full refresh agendado, onde essa é realmente a opção mais barata.

Solução

  1. Rastreio dos payloads de estado por stream ao longo das execuções para identificar onde o estado incremental era invalidado
  2. Substituição de um cursor de timestamp pouco fiável por CDC baseado em logs nas tabelas de maior volume
  3. Separação dos streams com muitas e com poucas alterações em ligações distintas, com agendamentos distintos
  4. Afinação da concorrência de sincronização e do tamanho dos lotes no destino para suavizar a procura no cluster do data warehouse
  5. Documentação das alterações de configuração que provocam a reposição do estado, para que as edições de rotina deixem de causar full refreshes

Resultado final

A janela de ingestão noturna regressou à duração original e os full refreshes recorrentes pararam. A despesa do data warehouse com a carga de ingestão voltou aproximadamente ao nível anterior ao incidente.

Tecnologias

AirbytePostgreSQLSnowflakeDebezium

Precisa de suporte Airbyte especializado?

Os engenheiros seniores de Airbyte da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.