Voltar para todos os casos de uso

CorreçãoMultissetorial

Encontrar o sync que fica verde enquanto a tabela do warehouse fica desatualizada

Empresa de análise de dados de varejo

Diagnóstico de uma conexão Airbyte que continuava relatando sucesso enquanto a tabela de destino ficava silenciosamente desatualizada depois de uma mudança de schema na origem.

Visão geral

O modo de falha mais prejudicial do Airbyte não é um job vermelho, e sim um verde. Quando uma origem adiciona, renomeia ou muda o tipo de uma coluna e a política de propagação de schema da conexão ignora a mudança sem avisar, os registros continuam chegando, mas as colunas que o negócio realmente usa nos relatórios param de ser atualizadas.

Desafio

Uma aplicação de origem publicou uma versão que renomeou duas colunas e transformou um campo numérico em string. A conexão Airbyte continuou terminando sem erro, mas os modelos downstream construídos sobre esses campos passaram a retornar nulos. Ninguém percebeu durante vários ciclos de relatórios, porque todos os alertas de dashboard estavam ligados ao status do job, e não à atualidade dos dados.

Ambiente

Airbyte self-hosted no Kubernetes sincronizando PostgreSQL e origens SaaS para um data warehouse em nuvem, com modelos dbt consumindo a camada raw.

Abordagem

Os engenheiros da AceMQ levantaram o histórico do catálogo da conexão e compararam o schema descoberto com o schema configurado de cada stream para identificar exatamente quais campos haviam divergido e quando. A partir daí, rastreamos o comportamento da normalização no destino, corrigimos a política de mudança de schema e fizemos o backfill das janelas afetadas em lotes controlados, em vez de um único full refresh.

Solução

  1. Comparação dos catálogos descobertos na origem com os schemas configurados dos streams para identificar campos divergentes e descartados
  2. Redefinição da política de propagação de mudanças de schema por stream, para que mudanças incompatíveis falhem de forma visível em vez de truncar dados sem avisar
  3. Reconstrução dos streams afetados com primary keys e campos de cursor corrigidos
  4. Backfill dos intervalos de datas afetados em lotes limitados, para evitar picos de consumo de créditos no warehouse
  5. Inclusão de verificações de atualidade e de contagem de linhas no destino, para que a desatualização dos dados gere alertas independentemente do status do job

Resultado obtido

As colunas desatualizadas foram preenchidas novamente, e agora a conexão falha de forma visível quando um schema de origem muda de um jeito que ela não consegue absorver. A equipe deixou de usar o status do job como indicador de que os dados estão corretos.

Tecnologias

AirbytePostgreSQLSnowflakeKubernetesdbt

Enfrentando um problema de produção com Airbyte?

Os engenheiros Airbyte sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.