Visão geral
A maioria dos deployments do Airbyte começa como a instalação via Helm de alguém e acaba carregando a movimentação de dados de produção. A distância entre esses dois estados está no isolamento de recursos, no tratamento de credenciais, no backup do banco de dados interno e em um caminho de recuperação testado.
Desafio
A plataforma rodava com os requests de recursos padrão, credenciais das origens armazenadas em configuração em texto puro e nenhum backup do banco de dados interno do Airbyte, que guarda o estado das conexões. Um único despejo de nó podia derrubar as sincronizações em andamento, e perder o banco interno significaria registrar de novo cada conexão e reler cada origem do zero.
Ambiente
Airbyte em um cluster Kubernetes gerenciado, banco de dados interno PostgreSQL, origens que abrangem sistemas de core banking e plataformas SaaS, operando sob requisitos de auditoria interna.
Abordagem
A AceMQ trabalhou com a equipe de plataforma para definir classes de recursos para os pods de sincronização, migrar as credenciais para um gerenciador de secrets externo e colocar o banco de dados interno em um ciclo testado de backup e restauração. Também separamos as cargas de trabalho para que uma sincronização pesada não consiga deixar o scheduler sem recursos.
Solução
- Definição de requests e limites de recursos por conexão, para que sincronizações grandes não consigam despejar o control plane
- Migração das credenciais de origens e destinos para um gerenciador de secrets externo, com procedimentos de rotação
- Implantação de backup e de restauração testada para o banco de dados interno do Airbyte que guarda o estado das conexões
- Distribuição das cargas de sincronização em node pools dedicados, com as tolerations adequadas
- Criação de runbooks para upgrades de conectores, jobs travados e recuperação completa do cluster
- Inclusão de métricas e alertas sobre duração dos jobs, taxa de falhas e atualização dos dados no destino
Resultado obtido
O deployment passou por um teste deliberado de drenagem de nós com as sincronizações sendo retomadas a partir do estado salvo, e a equipe passou a ter procedimentos de recuperação documentados que pode mostrar aos auditores, em vez de descrevê-los de memória.