Voltar para todos os casos de uso

ConsultoriaServiços financeiros / pagamentos

Transformar uma instalação do Airbyte que funciona em uma que você consegue operar sob auditoria

Grupo bancário regional

Transformação de uma instalação do Airbyte em fase de prova de conceito em um deployment de nível de produção, com isolamento adequado, tratamento de secrets, limites de recursos e procedimentos de recuperação.

Visão geral

A maioria dos deployments do Airbyte começa como a instalação via Helm de alguém e acaba carregando a movimentação de dados de produção. A distância entre esses dois estados está no isolamento de recursos, no tratamento de credenciais, no backup do banco de dados interno e em um caminho de recuperação testado.

Desafio

A plataforma rodava com os requests de recursos padrão, credenciais das origens armazenadas em configuração em texto puro e nenhum backup do banco de dados interno do Airbyte, que guarda o estado das conexões. Um único despejo de nó podia derrubar as sincronizações em andamento, e perder o banco interno significaria registrar de novo cada conexão e reler cada origem do zero.

Ambiente

Airbyte em um cluster Kubernetes gerenciado, banco de dados interno PostgreSQL, origens que abrangem sistemas de core banking e plataformas SaaS, operando sob requisitos de auditoria interna.

Abordagem

A AceMQ trabalhou com a equipe de plataforma para definir classes de recursos para os pods de sincronização, migrar as credenciais para um gerenciador de secrets externo e colocar o banco de dados interno em um ciclo testado de backup e restauração. Também separamos as cargas de trabalho para que uma sincronização pesada não consiga deixar o scheduler sem recursos.

Solução

  1. Definição de requests e limites de recursos por conexão, para que sincronizações grandes não consigam despejar o control plane
  2. Migração das credenciais de origens e destinos para um gerenciador de secrets externo, com procedimentos de rotação
  3. Implantação de backup e de restauração testada para o banco de dados interno do Airbyte que guarda o estado das conexões
  4. Distribuição das cargas de sincronização em node pools dedicados, com as tolerations adequadas
  5. Criação de runbooks para upgrades de conectores, jobs travados e recuperação completa do cluster
  6. Inclusão de métricas e alertas sobre duração dos jobs, taxa de falhas e atualização dos dados no destino

Resultado obtido

O deployment passou por um teste deliberado de drenagem de nós com as sincronizações sendo retomadas a partir do estado salvo, e a equipe passou a ter procedimentos de recuperação documentados que pode mostrar aos auditores, em vez de descrevê-los de memória.

Tecnologias

AirbyteKubernetesPostgreSQLDocker

Precisa de orientação de arquitetura para Airbyte?

Os engenheiros Airbyte sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.