Visão geral
O modo de falha mais prejudicial do Airbyte não é um job a vermelho — é um job a verde. Quando uma origem acrescenta, renomeia ou altera o tipo de uma coluna e a política de propagação de esquema da ligação o ignora silenciosamente, os registos continuam a chegar, mas as colunas sobre as quais o negócio efetivamente reporta deixam de ser atualizadas.
Desafio
Uma aplicação de origem lançou uma versão que renomeou duas colunas e transformou um campo numérico num campo de texto. A ligação Airbyte continuou a terminar sem erros, mas os modelos a jusante construídos sobre esses campos devolviam nulos. Ninguém reparou durante vários ciclos de reporting, porque todos os alertas dos dashboards estavam ligados ao estado dos jobs e não à frescura dos dados.
Ambiente
Airbyte autoalojado em Kubernetes, a sincronizar origens PostgreSQL e SaaS para um data warehouse na cloud, com modelos dbt a consumir a camada raw.
Abordagem
Os engenheiros da AceMQ recolheram o histórico do catálogo da ligação e compararam o esquema descoberto com o esquema configurado de cada stream, para identificar com exatidão que campos tinham divergido e quando. A partir daí, rastreámos o comportamento de normalização no destino, corrigimos a política de alterações de esquema e fizemos o backfill das janelas afetadas em lotes controlados, em vez de um único full refresh.
Solução
- Comparação dos catálogos de origem descobertos com os esquemas configurados dos streams, para identificar campos divergentes e descartados
- Reposição da política de propagação de alterações de esquema por stream, para que as alterações incompatíveis falhem de forma visível em vez de truncarem dados silenciosamente
- Reconstrução dos streams afetados com chaves primárias e campos de cursor corrigidos
- Backfill dos intervalos de datas afetados em lotes limitados, para evitar picos de créditos no data warehouse
- Verificações de frescura e de contagem de linhas no destino, para que a desatualização dos dados gere alertas independentemente do estado dos jobs
Resultado final
As colunas desatualizadas voltaram a ser preenchidas e a ligação passou a falhar de forma visível quando um esquema de origem muda de uma maneira que não consegue absorver. A equipa deixou de usar o estado dos jobs como indicador da correção dos dados.