Visão geral
O Redpanda fala o protocolo do Kafka sem ZooKeeper e sem JVM, o que elimina um peso operacional considerável. A migração costuma ser simples, mas as partes que não são — bibliotecas cliente antigas, ferramentas de administração e premissas internas do Kafka no código existente — valem ser descobertas em um ambiente de testes, e não em produção.
Desafio
Cada producer e cada consumer do ambiente é uma questão de compatibilidade. Versões mais antigas das bibliotecas cliente negociam os recursos do protocolo de forma diferente, as ferramentas de administração podem depender de métricas JMX ou de caminhos do ZooKeeper que deixam de existir, e workers do Kafka Connect, aplicações Kafka Streams e agentes de monitoramento têm, cada um, as suas próprias expectativas. A configuração dos brokers não tem correspondência direta, e os offsets dos consumer groups precisam ser levados junto para que nenhuma mensagem seja reprocessada ou pulada.
Ambiente
Clusters de Apache Kafka em Kubernetes ou em VMs, com clientes em várias linguagens e versões, Schema Registry, Kafka Connect e ACLs existentes, migrando para o Redpanda.
Abordagem
A AceMQ inventaria todos os clientes por biblioteca e versão e, em seguida, testa cada um contra um cluster Redpanda em um ambiente de testes que cobre os recursos do protocolo que ele realmente usa — transações, produce idempotente, protocolo de consumer groups e operações de administração. Os tópicos migram em ondas com o MirrorMaker ou com as ferramentas de migração do Redpanda, com tradução de offsets e consumo duplo até que cada consumer seja validado.
Solução
- Inventário dos clientes por linguagem, biblioteca e versão, com uma matriz de testes de compatibilidade para cada recurso do protocolo em uso
- Validação em ambiente de testes de transações, produce idempotente, rebalanceamento de consumer groups e chamadas à Admin API contra o Redpanda
- Tradução da configuração dos brokers, incluindo as configurações de partições, retenção e compactação que não têm correspondência direta
- Migração de ACLs e do Schema Registry, com verificação do mecanismo de autenticação de cada cliente
- Replicação tópico a tópico com tradução dos offsets dos consumer groups e validação por consumo duplo antes do cutover
- Monitoramento e alertas reconstruídos com base nas métricas do Redpanda, substituindo os dashboards do Kafka baseados em JMX
Resultado obtido
Os clientes fazem o cutover tópico a tópico com a compatibilidade dos clientes verificada antecipadamente e aposentam a camada operacional do ZooKeeper ou do KRaft, junto com o tuning de JVM que vinha com ela. Os problemas de compatibilidade aparecem no ambiente de testes, e não durante um cutover em produção.