Visão geral
O modo de falha mais prejudicial do Airbyte não é um job vermelho, e sim um verde. Quando uma origem adiciona, renomeia ou muda o tipo de uma coluna e a política de propagação de schema da conexão ignora a mudança sem avisar, os registros continuam chegando, mas as colunas que o negócio realmente usa nos relatórios param de ser atualizadas.
Desafio
Uma aplicação de origem publicou uma versão que renomeou duas colunas e transformou um campo numérico em string. A conexão Airbyte continuou terminando sem erro, mas os modelos downstream construídos sobre esses campos passaram a retornar nulos. Ninguém percebeu durante vários ciclos de relatórios, porque todos os alertas de dashboard estavam ligados ao status do job, e não à atualidade dos dados.
Ambiente
Airbyte self-hosted no Kubernetes sincronizando PostgreSQL e origens SaaS para um data warehouse em nuvem, com modelos dbt consumindo a camada raw.
Abordagem
Os engenheiros da AceMQ levantaram o histórico do catálogo da conexão e compararam o schema descoberto com o schema configurado de cada stream para identificar exatamente quais campos haviam divergido e quando. A partir daí, rastreamos o comportamento da normalização no destino, corrigimos a política de mudança de schema e fizemos o backfill das janelas afetadas em lotes controlados, em vez de um único full refresh.
Solução
- Comparação dos catálogos descobertos na origem com os schemas configurados dos streams para identificar campos divergentes e descartados
- Redefinição da política de propagação de mudanças de schema por stream, para que mudanças incompatíveis falhem de forma visível em vez de truncar dados sem avisar
- Reconstrução dos streams afetados com primary keys e campos de cursor corrigidos
- Backfill dos intervalos de datas afetados em lotes limitados, para evitar picos de consumo de créditos no warehouse
- Inclusão de verificações de atualidade e de contagem de linhas no destino, para que a desatualização dos dados gere alertas independentemente do status do job
Resultado obtido
As colunas desatualizadas foram preenchidas novamente, e agora a conexão falha de forma visível quando um schema de origem muda de um jeito que ela não consegue absorver. A equipe deixou de usar o status do job como indicador de que os dados estão corretos.