Voltar para todos os casos de uso

AvaliaçãoMultissetorial

Um inventário honesto do que o seu ambiente Airbyte realmente está fazendo

Grupo de serviços de seguros

Uma revisão estruturada de um ambiente Airbyte que cresceu de forma orgânica, com auditoria das versões de conectores, dos modos de sincronização, do tratamento de estado e da visibilidade de falhas.

Visão geral

Os ambientes Airbyte tendem a acumular coisas. As conexões são criadas rapidamente porque é fácil criá-las e, depois de um ano, ninguém sabe dizer quais conectores estão presos a versões antigas, quais streams estão em full refresh sem motivo ou quais pipelines não são consumidos por nada downstream.

Desafio

A equipe da plataforma de dados tinha mais de cem conexões espalhadas por vários workspaces. As versões dos conectores variavam muito, conectores customizados tinham sido criados por pessoas que já haviam saído da empresa e não existia um padrão consistente para chaves primárias, deduplicação ou tratamento de dead-letter. Ninguém conseguia estimar o raio de impacto de um upgrade de conector.

Ambiente

Airbyte self-hosted no Kubernetes, com uma combinação de conectores certificados, da comunidade e desenvolvidos internamente alimentando um data warehouse em nuvem.

Abordagem

A AceMQ inventariou todas as conexões pela API do Airbyte e mapeou cada stream para seus consumidores downstream; em seguida, pontuou as conexões quanto à atualização de versão, à adequação do modo de sincronização, à confiabilidade do estado e à observabilidade. O resultado foi um backlog de correções priorizado, e não uma nota de maturidade genérica.

Solução

  1. Inventário completo de workspaces, conexões, streams e versões de conectores pela API do Airbyte
  2. Mapeamento de cada stream para os modelos downstream no data warehouse, para identificar pipelines sem uso e órfãos
  3. Sinalização dos streams cujo modo de sincronização não corresponde ao padrão de mudanças da tabela
  4. Revisão do código dos conectores customizados em busca de lacunas no tratamento de retries, paginação e rate limits
  5. Entrega de um backlog priorizado com estimativas de esforço e um plano de sequenciamento de upgrades

Resultado obtido

A equipe desativou uma parcela significativa de conexões que não alimentavam nada, consolidou as versões dos conectores em uma base com suporte e ganhou uma sequência de upgrades defensável, em vez de atualizar conectores a cada incidente.

Tecnologias

AirbyteKubernetesPostgreSQLdbtKafka

Pronto para um health check do Airbyte?

Os engenheiros Airbyte sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.