Visão geral
Os ambientes Airbyte tendem a acumular coisas. As conexões são criadas rapidamente porque é fácil criá-las e, depois de um ano, ninguém sabe dizer quais conectores estão presos a versões antigas, quais streams estão em full refresh sem motivo ou quais pipelines não são consumidos por nada downstream.
Desafio
A equipe da plataforma de dados tinha mais de cem conexões espalhadas por vários workspaces. As versões dos conectores variavam muito, conectores customizados tinham sido criados por pessoas que já haviam saído da empresa e não existia um padrão consistente para chaves primárias, deduplicação ou tratamento de dead-letter. Ninguém conseguia estimar o raio de impacto de um upgrade de conector.
Ambiente
Airbyte self-hosted no Kubernetes, com uma combinação de conectores certificados, da comunidade e desenvolvidos internamente alimentando um data warehouse em nuvem.
Abordagem
A AceMQ inventariou todas as conexões pela API do Airbyte e mapeou cada stream para seus consumidores downstream; em seguida, pontuou as conexões quanto à atualização de versão, à adequação do modo de sincronização, à confiabilidade do estado e à observabilidade. O resultado foi um backlog de correções priorizado, e não uma nota de maturidade genérica.
Solução
- Inventário completo de workspaces, conexões, streams e versões de conectores pela API do Airbyte
- Mapeamento de cada stream para os modelos downstream no data warehouse, para identificar pipelines sem uso e órfãos
- Sinalização dos streams cujo modo de sincronização não corresponde ao padrão de mudanças da tabela
- Revisão do código dos conectores customizados em busca de lacunas no tratamento de retries, paginação e rate limits
- Entrega de um backlog priorizado com estimativas de esforço e um plano de sequenciamento de upgrades
Resultado obtido
A equipe desativou uma parcela significativa de conexões que não alimentavam nada, consolidou as versões dos conectores em uma base com suporte e ganhou uma sequência de upgrades defensável, em vez de atualizar conectores a cada incidente.