Descripción general
Redpanda habla el protocolo de Kafka sin ZooKeeper ni JVM, lo que elimina una carga operativa considerable. La migración suele ser sencilla, pero las partes que no lo son (bibliotecas cliente antiguas, herramientas de administración y supuestos internos de Kafka en el código existente) conviene descubrirlas en un banco de pruebas y no en producción.
Reto
Cada productor y cada consumidor del entorno es una cuestión de compatibilidad. Las versiones antiguas de las bibliotecas cliente negocian las funcionalidades del protocolo de otra manera, las herramientas de administración pueden depender de métricas JMX o de rutas de ZooKeeper que ya no existen, y los workers de Kafka Connect, las aplicaciones de Streams y los agentes de monitorización tienen cada uno sus propias expectativas. La configuración del lado del broker no se corresponde uno a uno, y los offsets de los consumer groups deben trasladarse para que ningún mensaje se reprocese ni se pierda.
Entorno
Clústeres de Apache Kafka en Kubernetes o en máquinas virtuales, con clientes en distintos lenguajes y versiones, Schema Registry, Kafka Connect y ACL existentes, en migración a Redpanda.
Enfoque
AceMQ inventaría todos los clientes por biblioteca y versión y después prueba cada uno contra un clúster de Redpanda en un banco de pruebas que cubre las funcionalidades del protocolo que realmente usa: transacciones, producción idempotente, protocolo de consumer groups y operaciones de administración. Los temas se migran por oleadas con MirrorMaker o con las herramientas de migración de Redpanda, con traducción de offsets y consumo dual hasta validar cada consumidor.
Solución
- Inventario de clientes por lenguaje, biblioteca y versión, con una matriz de pruebas de compatibilidad por cada funcionalidad del protocolo en uso
- Validación en banco de pruebas de transacciones, producción idempotente, rebalanceo de consumer groups y llamadas a la API de administración contra Redpanda
- Traducción de la configuración de los brokers, incluidos los ajustes de particiones, retención y compactación que no se corresponden uno a uno
- Migración de las ACL y del Schema Registry, con verificación del mecanismo de autenticación de cada cliente
- Replicación tema a tema con traducción de los offsets de los consumer groups y validación por consumo dual antes del cambio
- Monitorización y alertas reconstruidas sobre las métricas de Redpanda, en sustitución de los dashboards de Kafka basados en JMX
Resultado final
Los clientes hacen el cambio tema a tema con la compatibilidad de los clientes verificada de antemano, y se deshacen de la capa operativa de ZooKeeper o KRaft junto con el ajuste de la JVM que la acompañaba. Los problemas de compatibilidad afloran en el banco de pruebas y no durante un cambio en producción.