Volver a todos los casos de uso

ConsultoríaServicios financieros / Pagos

Compatible con Kafka no significa idéntico: pruebe los clientes antes del corte

Procesador global de pagos

Migración de Kafka a Redpanda con pruebas de compatibilidad de clientes, traducción de ACL y de schema registry, y un corte escalonado por topic.

Descripción general

Redpanda habla el protocolo de Kafka sin ZooKeeper ni JVM, lo que elimina una carga operativa considerable. La migración suele ser sencilla, pero las partes que no lo son (bibliotecas cliente antiguas, herramientas de administración y supuestos internos de Kafka en el código existente) conviene encontrarlas en un entorno de pruebas y no en producción.

Desafío

Cada productor y cada consumidor del entorno es una pregunta de compatibilidad. Las versiones antiguas de las bibliotecas cliente negocian las funcionalidades del protocolo de forma distinta, las herramientas de administración pueden depender de métricas JMX o de rutas de ZooKeeper que ya no existen, y los workers de Kafka Connect, las aplicaciones de Streams y los agentes de monitoreo tienen cada uno sus propias expectativas. La configuración del lado del broker no tiene una equivalencia directa, y los offsets de los consumer groups deben trasladarse para que ningún mensaje se reprocese ni se omita.

Entorno

Clústeres de Apache Kafka en Kubernetes o en VM con clientes de distintos lenguajes y versiones, Schema Registry, Kafka Connect y ACL existentes, en migración a Redpanda.

Enfoque

AceMQ inventaría cada cliente por biblioteca y versión, y luego lo prueba contra un clúster de Redpanda en un entorno de pruebas que cubre las funcionalidades del protocolo que realmente usa: transacciones, producción idempotente, protocolo de consumer groups y operaciones de administración. Los topics migran por olas con MirrorMaker o con las herramientas de migración de Redpanda, con traducción de offsets y consumo dual hasta validar cada consumidor.

Solución

  1. Inventario de clientes por lenguaje, biblioteca y versión, con una matriz de pruebas de compatibilidad por cada funcionalidad del protocolo en uso
  2. Validación en el entorno de pruebas de transacciones, producción idempotente, rebalanceo de consumer groups y llamadas a la API de administración contra Redpanda
  3. Traducción de la configuración de los brokers, incluidos los ajustes de particiones, retención y compactación que no tienen una equivalencia directa
  4. Migración de ACL y de Schema Registry con verificación del mecanismo de autenticación de cada cliente
  5. Replicación topic por topic con traducción de offsets de los consumer groups y validación con consumo dual antes del corte
  6. Monitoreo y alertas reconstruidos sobre las métricas de Redpanda, en reemplazo de los dashboards de Kafka basados en JMX

Resultado final

Los clientes hacen el corte topic por topic con la compatibilidad de los clientes verificada de antemano, y retiran la capa operativa de ZooKeeper o KRaft junto con el ajuste de la JVM que la acompañaba. Los problemas de compatibilidad aparecen en el entorno de pruebas y no durante un corte en producción.

Tecnologías

RedpandaApache KafkaKubernetesApache Flink

¿Necesita orientación de arquitectura para Redpanda?

Los ingenieros sénior de Redpanda de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.