Voltar a todos os casos de utilização

CorreçãoTransversal a vários setores

Encontrar a sincronização que fica verde enquanto a tabela do data warehouse fica desatualizada

Organização de análise de dados para o retalho

Diagnóstico de uma ligação Airbyte que continuava a reportar sucesso enquanto a tabela de destino ficava silenciosamente desatualizada após uma alteração de esquema a montante.

Visão geral

O modo de falha mais prejudicial do Airbyte não é um job a vermelho — é um job a verde. Quando uma origem acrescenta, renomeia ou altera o tipo de uma coluna e a política de propagação de esquema da ligação o ignora silenciosamente, os registos continuam a chegar, mas as colunas sobre as quais o negócio efetivamente reporta deixam de ser atualizadas.

Desafio

Uma aplicação de origem lançou uma versão que renomeou duas colunas e transformou um campo numérico num campo de texto. A ligação Airbyte continuou a terminar sem erros, mas os modelos a jusante construídos sobre esses campos devolviam nulos. Ninguém reparou durante vários ciclos de reporting, porque todos os alertas dos dashboards estavam ligados ao estado dos jobs e não à frescura dos dados.

Ambiente

Airbyte autoalojado em Kubernetes, a sincronizar origens PostgreSQL e SaaS para um data warehouse na cloud, com modelos dbt a consumir a camada raw.

Abordagem

Os engenheiros da AceMQ recolheram o histórico do catálogo da ligação e compararam o esquema descoberto com o esquema configurado de cada stream, para identificar com exatidão que campos tinham divergido e quando. A partir daí, rastreámos o comportamento de normalização no destino, corrigimos a política de alterações de esquema e fizemos o backfill das janelas afetadas em lotes controlados, em vez de um único full refresh.

Solução

  1. Comparação dos catálogos de origem descobertos com os esquemas configurados dos streams, para identificar campos divergentes e descartados
  2. Reposição da política de propagação de alterações de esquema por stream, para que as alterações incompatíveis falhem de forma visível em vez de truncarem dados silenciosamente
  3. Reconstrução dos streams afetados com chaves primárias e campos de cursor corrigidos
  4. Backfill dos intervalos de datas afetados em lotes limitados, para evitar picos de créditos no data warehouse
  5. Verificações de frescura e de contagem de linhas no destino, para que a desatualização dos dados gere alertas independentemente do estado dos jobs

Resultado final

As colunas desatualizadas voltaram a ser preenchidas e a ligação passou a falhar de forma visível quando um esquema de origem muda de uma maneira que não consegue absorver. A equipa deixou de usar o estado dos jobs como indicador da correção dos dados.

Tecnologias

AirbytePostgreSQLSnowflakeKubernetesdbt

Tem um problema de produção com Airbyte?

Os engenheiros seniores de Airbyte da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.