Volver a todos los casos de uso

ConsultoríaServicios financieros / Pagos

Compatible con Kafka no significa idéntico: pruebe los clientes antes del cambio

Procesador de pagos global

Migración de Kafka a Redpanda con pruebas de compatibilidad de clientes, traslado de ACL y del schema registry y un cambio escalonado tema a tema.

Descripción general

Redpanda habla el protocolo de Kafka sin ZooKeeper ni JVM, lo que elimina una carga operativa considerable. La migración suele ser sencilla, pero las partes que no lo son (bibliotecas cliente antiguas, herramientas de administración y supuestos internos de Kafka en el código existente) conviene descubrirlas en un banco de pruebas y no en producción.

Reto

Cada productor y cada consumidor del entorno es una cuestión de compatibilidad. Las versiones antiguas de las bibliotecas cliente negocian las funcionalidades del protocolo de otra manera, las herramientas de administración pueden depender de métricas JMX o de rutas de ZooKeeper que ya no existen, y los workers de Kafka Connect, las aplicaciones de Streams y los agentes de monitorización tienen cada uno sus propias expectativas. La configuración del lado del broker no se corresponde uno a uno, y los offsets de los consumer groups deben trasladarse para que ningún mensaje se reprocese ni se pierda.

Entorno

Clústeres de Apache Kafka en Kubernetes o en máquinas virtuales, con clientes en distintos lenguajes y versiones, Schema Registry, Kafka Connect y ACL existentes, en migración a Redpanda.

Enfoque

AceMQ inventaría todos los clientes por biblioteca y versión y después prueba cada uno contra un clúster de Redpanda en un banco de pruebas que cubre las funcionalidades del protocolo que realmente usa: transacciones, producción idempotente, protocolo de consumer groups y operaciones de administración. Los temas se migran por oleadas con MirrorMaker o con las herramientas de migración de Redpanda, con traducción de offsets y consumo dual hasta validar cada consumidor.

Solución

  1. Inventario de clientes por lenguaje, biblioteca y versión, con una matriz de pruebas de compatibilidad por cada funcionalidad del protocolo en uso
  2. Validación en banco de pruebas de transacciones, producción idempotente, rebalanceo de consumer groups y llamadas a la API de administración contra Redpanda
  3. Traducción de la configuración de los brokers, incluidos los ajustes de particiones, retención y compactación que no se corresponden uno a uno
  4. Migración de las ACL y del Schema Registry, con verificación del mecanismo de autenticación de cada cliente
  5. Replicación tema a tema con traducción de los offsets de los consumer groups y validación por consumo dual antes del cambio
  6. Monitorización y alertas reconstruidas sobre las métricas de Redpanda, en sustitución de los dashboards de Kafka basados en JMX

Resultado final

Los clientes hacen el cambio tema a tema con la compatibilidad de los clientes verificada de antemano, y se deshacen de la capa operativa de ZooKeeper o KRaft junto con el ajuste de la JVM que la acompañaba. Los problemas de compatibilidad afloran en el banco de pruebas y no durante un cambio en producción.

Tecnologías

RedpandaApache KafkaKubernetesApache Flink

¿Necesita asesoramiento de arquitectura para Redpanda?

Los ingenieros sénior de Redpanda de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.