En esta página
Kafka 4.0 supone el cambio de arquitectura más importante de la historia del proyecto: ZooKeeper, el servicio de coordinación externo del que Kafka dependía desde sus primeras versiones, ha desaparecido. Los metadatos del clúster y el consenso de los controllers se gestionan ahora internamente mediante KRaft (Kafka Raft), el protocolo de consenso propio de Kafka basado en Raft. Es una simplificación real del modelo operativo, un sistema distribuido menos que ejecutar y ajustar, pero «nueva arquitectura mayor recién publicada» y «probada en combate para su carga de trabajo concreta» son afirmaciones distintas.
Este artículo explica qué ha cambiado realmente a nivel operativo, a partir de un caso real de producción que sufrió un problema de rendimiento importante precisamente en Kafka 4.0.0.
¿Es estable el propio modo KRaft o sigue considerándose una tecnología temprana o beta?
El modo KRaft es la arquitectura estándar de producción en Kafka 4.0; a estas alturas no es una funcionalidad beta ni de vista previa. Las organizaciones lo están desplegando en producción, incluso para casos de uso exigentes: una organización adoptó Kafka 4.0.0 para una plataforma de procesamiento de transacciones del sector bancario precisamente porque elimina la dependencia de ZooKeeper, y trató esa simplificación de la arquitectura como una elección tecnológica deliberada y con visión de futuro, no como un riesgo que evitar.
Dicho esto, «la arquitectura es de nivel de producción» y «todas las funcionalidades se comportan exactamente igual que con el modelo basado en ZooKeeper» son afirmaciones distintas, y el caso real al que se refiere este artículo ilustra directamente esa diferencia.
¿Qué falló realmente en el caso real de Kafka 4.0 al que se refiere este artículo?
Una regresión de rendimiento importante y concreta ligada a las transacciones de Kafka. Una organización que ejecutaba una plataforma de procesamiento de transacciones sobre Kafka 4.0.0, con Spring Boot 3.2 y Java 17, había medido previamente un throughput de unas 320.000 transacciones por hora usando la mensajería estándar de Kafka. Tras añadir capacidad de recuperación a su sistema, implementada con la funcionalidad de mensajería transaccional de Kafka, el throughput cayó a 40.000-50.000 transacciones por hora y, lo que es fundamental, aumentar el número de instancias del servicio no lo mejoró. El sistema se quedaba en el mismo techo de throughput con independencia del escalado horizontal, una señal clara de que el cuello de botella era estructural (probablemente relacionado con el coordinator) y no una simple contención de recursos.
Cuando el equipo probó la misma carga de trabajo sin transacciones de Kafka, el rendimiento volvió a la normalidad, lo que aisló la regresión en la ruta de mensajería transaccional en concreto, y no en el modo KRaft, la configuración del broker o el código de la aplicación en general.
¿Significa esto que las transacciones de Kafka están rotas en modo KRaft?
No necesariamente, pero sí significa que las transacciones en particular merecen una validación más profunda antes de comprometerse con ellas para una carga sensible al rendimiento, ya que el comportamiento del transaction coordinator con KRaft es distinto, a nivel de arquitectura, de cómo funcionaba en los clústeres basados en ZooKeeper, y esa diferencia puede manifestarse justo como este tipo de techo de throughput con ciertos patrones de uso.
Lo que sabemos por este caso:
- El techo de throughput era reproducible y constante (no intermitente)
- No respondía al escalado horizontal, lo que descarta como causa una simple falta de recursos
- Eliminar las transacciones de la misma carga de trabajo devolvía el throughput normal
Hacia dónde apunta esto en el diagnóstico: el comportamiento del transaction coordinator, es decir, cómo se sigue, se confirma y se coordina el estado transaccional en el clúster, es un candidato claro a cuello de botella, ya que es el componente más directamente ligado a la diferencia de comportamiento observada entre «transacciones activadas» y «desactivadas». Un diagnóstico estructurado de este tipo de problema examinaría como primeros objetivos la ubicación del transaction coordinator, la configuración del timeout de las transacciones y la cardinalidad y el particionado de transactional.id.
¿Debo evitar por completo las transacciones de Kafka en la 4.0?
No necesariamente, pero valide su patrón de uso transaccional concreto con una carga realista antes de comprometerse con él para una carga crítica en producción y sensible a la latencia, en lugar de dar por hecho que las recomendaciones generales sobre transacciones de Kafka de la documentación anterior a la 4.0 siguen siendo válidas sin cambios.
Si su caso de uso necesita transacciones de Kafka (semántica exactly-once entre producción y consumo, o escrituras atómicas en varias particiones):
- Haga pruebas de carga de la ruta transaccional en concreto y por separado de su línea base de throughput no transaccional, con una tasa de transacciones y un patrón de
transactional.idrepresentativos - Compruebe si el escalado horizontal de sus instancias de productores y consumidores mejora realmente el throughput transaccional en su entorno; si no lo hace, es la misma señal de alerta observada en el caso anterior, y conviene investigarla antes de pasar a producción
- Revise las notas de la versión y los problemas conocidos actuales de Kafka 4.x específicamente sobre el comportamiento del transaction coordinator con KRaft, ya que es una parte del código en plena evolución tras la eliminación de ZooKeeper
Si su caso de uso no necesita estrictamente transacciones, evalúe si sus requisitos de recuperación e idempotencia pueden cumplirse con patrones alternativos (solo la configuración de productor idempotente, sin transacciones completas; deduplicación a nivel de aplicación, o una arquitectura de recuperación distinta) que puedan evitar por completo el cuello de botella concreto observado aquí.
¿Qué enfoque de pruebas de carga valida realmente que Kafka 4.0 está listo para mi carga de trabajo?
El caso real al que se refiere este artículo usó JMeter para generar una carga controlada y estable a una tasa concreta de transacciones por segundo o por minuto, una elección deliberada precisamente porque ofrece una visibilidad clara y controlable de cómo responde el sistema a las rampas de carga, en lugar de depender de patrones de tráfico de producción, más difíciles de aislar y reproducir con fines de diagnóstico.
Un enfoque de validación sólido:
- Establezca primero una línea base de throughput no transaccional, para tener un punto de comparación limpio
- Introduzca las transacciones y mida la diferencia de throughput con el mismo perfil de carga
- Pruebe explícitamente el escalado horizontal: añada instancias de productores y consumidores y confirme que el throughput aumenta de verdad; si se estanca, es la señal para investigar los cuellos de botella a nivel de coordinator antes de seguir
- Use una herramienta de generación de carga que le permita mantener una tasa de transacciones estable y conocida (JMeter, o el propio
kafka-producer-perf-test.shde Kafka para la validación del lado del productor) en lugar de confiar únicamente en el tráfico orgánico durante un lanzamiento progresivo
¿A qué versión de Kafka deberían apuntar realmente las organizaciones con clústeres antiguos basados en ZooKeeper?
Si ahora mismo está en una versión anterior a KRaft y planifica su ruta de actualización, Kafka 4.0 y posteriores prescinden de ZooKeeper por diseño: el soporte de ZooKeeper se eliminó, no solo se declaró obsoleto, a partir de Kafka 4.0. Esto significa que su planificación de la actualización debe incluir una migración a KRaft como parte de la ruta, no como un paso opcional posterior.
Para las cargas de trabajo que no usan mucho las transacciones de Kafka, esta migración suele tener menos riesgo que el caso descrito en este artículo, ya que el cuello de botella concreto identificado aquí estaba aislado en el throughput transaccional, no en el funcionamiento general de un clúster KRaft. Para las cargas con mucho uso de transacciones, presupueste tiempo explícito de pruebas de carga para la ruta transaccional dentro de su plan de migración, con el enfoque de validación descrito, en lugar de dar por hecho que las características de rendimiento transaccional anteriores a KRaft se mantienen sin cambios.
¿Cuál es la conclusión realista sobre si Kafka 4.0 está listo para producción?
La arquitectura central de KRaft está lista para producción y se está adoptando activamente para cargas exigentes, incluido el procesamiento de transacciones financieras. Las transacciones de Kafka en concreto merecen una validación de carga específica antes de comprometerse con ellas para una carga de producción sensible al rendimiento, a la vista de una regresión de throughput real y reproducible observada en pruebas de producción. No es un motivo para evitar Kafka 4.0, sino para probar de forma deliberada su patrón de uso concreto en lugar de dar por hecha una paridad de comportamiento total con las versiones de Kafka anteriores a KRaft en todas las funcionalidades, transacciones incluidas.
Controllers aislados o modo combinado: lo que recomienda upstream y lo que desplegamos
Un clúster KRaft guarda sus metadatos en un quórum Raft de nodos controller en lugar de en ZooKeeper. El quórum elige un controller activo, que es el dueño del log de metadatos: definiciones de topics y particiones, asignaciones de réplicas, elecciones de líder, configuraciones y ACL. Cada broker sigue ese log y lo aplica localmente. Cada nodo declara lo que es mediante process.roles. Un nodo con process.roles=controller solo vota y sirve metadatos. Un nodo con process.roles=broker solo atiende el tráfico de los clientes y los datos de las particiones. Un nodo con process.roles=broker,controller hace ambas cosas en la misma JVM, que es lo que upstream llama modo combinado.
La documentación upstream es clara sobre cuál de ellos corresponde a producción. Los controllers aislados en sus propios servidores son la disposición recomendada para las cargas de producción. El modo combinado se describe como adecuado para desarrollo, pruebas y clústeres pequeños en los que el aislamiento de recursos no preocupa. Está soportado y funciona, pero no es la disposición que upstream recomienda para despliegues críticos, y nuestra experiencia coincide.
El motivo es el acoplamiento de fallos. En modo combinado, un broker sometido a presión de E/S o de recolección de basura también es un controller, así que un broker con problemas no solo pierde el liderazgo de sus particiones, sino que puede bloquear las votaciones del quórum y las confirmaciones de metadatos de todo el clúster. El log de metadatos tiene que hacer fsync en cada confirmación y, en modo combinado, ese fsync compite con las escrituras del log de particiones en los mismos discos y la misma page cache, de modo que una ráfaga de tráfico de productores puede ralentizar precisamente el componente que coordina la recuperación ante ella. Un reinicio escalonado de brokers también es un reinicio de controllers, así que cada actualización rutinaria o cambio de configuración de un broker provoca también una elección de controller. Con unos pocos brokers y poco tráfico, nada de esto importa demasiado. Con miles de particiones y discos muy cargados, los incidentes habituales de los brokers se convierten en incidentes de metadatos de todo el clúster. Aislar los roles es lo que hace que un problema de un broker siga siendo un problema de un broker.
Dimensionar controllers aislados es sencillo porque solo guardan metadatos, no datos de particiones. Tres controllers son lo adecuado para la mayoría de los clústeres y toleran la pérdida de uno. Cinco merecen la pena en entornos muy grandes o despliegues en varias zonas en los que se quiere sobrevivir a la pérdida de una zona más una ventana de mantenimiento en otro nodo, a costa de un quórum ligeramente más lento. Las máquinas pequeñas sirven: pocos núcleos, unos pocos GB de heap y un disco modesto pero de baja latencia para el log de metadatos. Coloque un controller por zona de disponibilidad para que la caída de una zona no se lleve el quórum por delante. En Kubernetes esto significa un node pool dedicado a los controllers, separado del de los brokers, como explicamos en Kafka en Kubernetes. La ubicación del quórum también forma parte de cualquier diseño serio de recuperación ante desastres de Kafka, porque un clúster que ha perdido su quórum de controllers no puede elegir líderes de partición aunque todos los brokers estén sanos.
La migración de un clúster existente con ZooKeeper sigue un orden fijo. Levante el nuevo quórum de controllers con zookeeper.metadata.migration.enable=true y la cadena de conexión de ZooKeeper, para que los controllers puedan leer los metadatos existentes. Después, reinicie los brokers de uno en uno con el flag de migración y los votantes del quórum de controllers configurados, lo que pasa el clúster a modo de doble escritura, en el que los metadatos se escriben tanto en ZooKeeper como en el log de KRaft. Cuando se hayan reiniciado todos los brokers y se hayan verificado los metadatos, finalice eliminando el flag de migración y la configuración de ZooKeeper de los controllers y reiniciándolos. Hasta ese momento puede volver a ZooKeeper; después de finalizar, ya no. Kafka 4.0 eliminó por completo el modo ZooKeeper, así que todo este procedimiento debe ejecutarse en la versión puente 3.9. Se actualiza a la 3.9, se migra, se finaliza y solo entonces se pasa a la 4.x.
Nuestra regla para las cargas críticas es breve. Controllers aislados, tres nodos, uno por zona, en discos separados de todo lo demás. Modo combinado solo cuando el clúster tiene menos de un puñado de brokers y el motivo está documentado. Cuando nos hacemos cargo de un clúster que funciona en modo combinado a gran escala, separar los roles suele ser nuestro primer cambio, antes que la estrategia de particiones o la capacidad. Si quiere que hagamos esa revisión en su entorno, nuestro equipo de consultoría de Kafka puede definir su alcance, y el soporte de Kafka cubre después el clúster con cobertura 24/7 y objetivos de respuesta desde 15 minutos, según el plan.
Obtenga ayuda con su migración a Kafka 4.0
¿Está migrando a Kafka 4.0 o ve un techo de throughput inexplicable con las transacciones de Kafka en su clúster basado en KRaft? Póngase en contacto con AceMQ para un servicio de diagnóstico. ¿No sabe por dónde empezar? Hable con un ingeniero de AceMQ.
Este es el primero de los diez pasos de la guía de operaciones de Kafka, que aborda las decisiones operativas en el orden en que se presentan en un entorno de producción.
Preguntas frecuentes
¿Recomienda Kafka controllers de KRaft aislados para producción?
Sí. La documentación upstream de Kafka recomienda ejecutar los controllers en servidores dedicados para las cargas de producción y describe el modo combinado, en el que un nodo es a la vez broker y controller, como adecuado para desarrollo, pruebas y clústeres pequeños en los que el aislamiento de recursos no preocupa. El modo combinado está soportado y funciona, pero entonces un broker sometido a presión de E/S o de GC también es un controller, y reiniciar un broker también es reiniciar un controller. Para cualquier carga crítica desplegamos controllers aislados en sus propios nodos y discos, y tratamos el modo combinado como una excepción documentada para clústeres muy pequeños.
¿Cuántos controllers de KRaft debe tener un clúster de producción?
Tres en la mayoría de los clústeres y cinco en entornos muy grandes o repartidos en varias zonas. Un quórum de tres nodos tolera la pérdida de un controller, y uno de cinco tolera dos, lo que importa cuando se quiere sobrevivir a la caída de una zona mientras otro controller está parado por mantenimiento. Los controllers solo guardan metadatos, así que bastan nodos pequeños con pocos núcleos, unos pocos GB de heap y un disco de baja latencia. Coloque un controller por zona de disponibilidad, mantenga el log de metadatos en su propio disco y ejecútelos en un node pool dedicado en Kubernetes. No use un número par ni cuente los controllers como capacidad de broker.
¿Es el modo KRaft de Kafka 4.0 lo bastante estable para producción?
Sí: KRaft es la arquitectura estándar de producción en Kafka 4.0, no una funcionalidad beta. Las organizaciones lo están desplegando para cargas exigentes, incluido el procesamiento de transacciones en el sector bancario, precisamente porque elimina la dependencia de ZooKeeper.
¿Qué falló realmente en el caso real de Kafka 4.0 en producción que se analiza aquí?
Una plataforma de procesamiento de transacciones sobre Kafka 4.0.0 vio cómo su throughput caía de unas 320.000 a 40.000-50.000 transacciones por hora tras añadir la mensajería transaccional de Kafka para tener capacidad de recuperación. Aumentar las instancias del servicio no mejoró el throughput, y eliminar las transacciones devolvió el rendimiento normal, lo que aisló la regresión en la ruta transaccional en concreto.
¿Están rotas las transacciones de Kafka en modo KRaft?
No necesariamente, pero merecen una validación más profunda: el comportamiento del transaction coordinator con KRaft es distinto, a nivel de arquitectura, del de los clústeres basados en ZooKeeper. El techo de throughput observado era reproducible, no respondía al escalado horizontal y desaparecía al eliminar las transacciones, lo que apunta al comportamiento del transaction coordinator como cuello de botella probable.
¿Debo evitar por completo las transacciones de Kafka en la 4.0?
No necesariamente, pero valide su patrón de uso transaccional concreto con una carga realista antes de comprometerse con él para una carga crítica en producción. Si las transacciones no son estrictamente necesarias, considere como alternativas la configuración de productor idempotente o la deduplicación a nivel de aplicación, que pueden evitar por completo el cuello de botella.
¿Cómo debo hacer pruebas de carga de Kafka 4.0 antes de pasar a producción?
Establezca primero una línea base de throughput no transaccional y, después, introduzca las transacciones y mida la diferencia con el mismo perfil de carga. Pruebe explícitamente el escalado horizontal: si el throughput se estanca en lugar de aumentar, investigue los cuellos de botella a nivel de coordinator. Tanto JMeter como el propio kafka-producer-perf-test.sh de Kafka funcionan bien para generar una carga estable y controlada.
¿A qué versión de Kafka debo apuntar si sigo con clústeres basados en ZooKeeper?
Kafka 4.0 y posteriores prescinden de ZooKeeper por diseño (el soporte de ZooKeeper se eliminó, no se declaró obsoleto, a partir de la 4.0), así que la planificación de la actualización debe incluir una migración a KRaft como paso obligatorio, no opcional. Las cargas con mucho uso de transacciones deberían presupuestar tiempo explícito de pruebas de carga para la ruta transaccional dentro de esa migración.
¿Cuál es la conclusión sobre si Kafka 4.0 está listo para producción?
La arquitectura central de KRaft está lista para producción y se usa activamente en cargas exigentes, incluido el procesamiento de transacciones financieras. Las transacciones de Kafka en concreto merecen una validación de carga específica antes de comprometerse con ellas para un uso en producción sensible al rendimiento, a la vista de una regresión de throughput real y reproducible.