En esta página
Kafka 4.0 representa el cambio de arquitectura más importante en la historia del proyecto: ZooKeeper, el servicio de coordinación externo del que Kafka dependía desde sus primeras versiones, desapareció. Los metadatos del clúster y el consenso de los controladores ahora se gestionan internamente mediante KRaft (Kafka Raft), el protocolo de consenso propio de Kafka basado en Raft. Es una simplificación real del modelo operativo, con un sistema distribuido menos que operar y ajustar, pero "arquitectura mayor recién lanzada" y "probada en batalla para su carga de trabajo concreta" son afirmaciones distintas.
Este artículo explica qué cambió realmente en la operación, a partir de un caso real de producción que se topó con un problema de rendimiento importante específicamente en Kafka 4.0.0.
¿El modo KRaft en sí es estable, o todavía se considera una tecnología temprana o beta?
El modo KRaft es la arquitectura estándar de producción en Kafka 4.0: a estas alturas no es una funcionalidad beta ni de vista previa. Hay organizaciones que lo están desplegando en producción, incluso para casos de uso exigentes: una organización adoptó específicamente Kafka 4.0.0 para una plataforma de procesamiento de transacciones del sector bancario, explícitamente porque elimina la dependencia de ZooKeeper, y trató esa simplificación de la arquitectura como una elección tecnológica deliberada y con visión de futuro, no como un riesgo que evitar.
Dicho esto, "la arquitectura es de nivel productivo" y "cada funcionalidad se comporta exactamente igual que en el modelo basado en ZooKeeper" son afirmaciones distintas, y el caso real al que se hace referencia en todo este artículo ilustra justamente esa brecha.
¿Qué salió mal realmente en el caso real de Kafka 4.0 que se menciona aquí?
Una regresión de rendimiento importante y específica ligada a las transacciones de Kafka. Una organización que operaba una plataforma de procesamiento de transacciones sobre Kafka 4.0.0, con Spring Boot 3.2 y Java 17, había medido previamente un rendimiento de alrededor de 320,000 transacciones por hora con la mensajería estándar de Kafka. Después de agregar capacidad de recuperación a su sistema, implementada con la funcionalidad de mensajería transaccional de Kafka, el rendimiento cayó a 40,000-50,000 transacciones por hora y, lo más importante, aumentar la cantidad de instancias del servicio no lo mejoró. El sistema quedaba atascado en el mismo techo de rendimiento sin importar el escalado horizontal, una señal clara de que el cuello de botella era estructural (probablemente relacionado con el coordinador) y no una simple contención de recursos.
Cuando el equipo probó la misma carga de trabajo sin transacciones de Kafka, el rendimiento volvió a la normalidad, lo que aisló la regresión específicamente en la ruta de mensajería transaccional, y no en el modo KRaft, la configuración del broker ni el código de la aplicación en general.
¿Esto significa que las transacciones de Kafka no funcionan en modo KRaft?
No necesariamente están rotas, pero sí significa que las transacciones en concreto ameritan una validación más profunda antes de comprometerse con ellas para una carga sensible al rendimiento, ya que el comportamiento del coordinador de transacciones en KRaft es distinto en su arquitectura al de los clústeres basados en ZooKeeper, y esa diferencia puede manifestarse justamente como este tipo de techo de rendimiento con ciertos patrones de uso.
Lo que sabemos por este caso:
- El techo de rendimiento era reproducible y constante (no intermitente)
- No respondía al escalado horizontal, lo que descarta como causa una simple escasez de recursos
- Quitar las transacciones de la misma carga de trabajo restablecía el rendimiento normal
Hacia dónde apunta esto en el diagnóstico: el comportamiento del coordinador de transacciones (cómo se registra, confirma y coordina el estado transaccional en el clúster) es un candidato firme a ser el cuello de botella, ya que es el componente más directamente ligado a la diferencia de comportamiento observada entre "transacciones activadas" y "desactivadas". Un diagnóstico estructurado de este tipo de problema examinaría como primeros objetivos de investigación la ubicación del coordinador de transacciones, la configuración del timeout de las transacciones y la cardinalidad y el particionado de transactional.id.
¿Debo evitar por completo las transacciones de Kafka en la versión 4.0?
No necesariamente, pero valide su patrón de uso transaccional concreto con una carga realista antes de comprometerse con él para una carga crítica en producción y sensible a la latencia, en lugar de suponer que las recomendaciones generales sobre transacciones de Kafka de la documentación anterior a la 4.0 siguen valiendo sin cambios.
Si su caso de uso requiere transacciones de Kafka (semántica exactly-once entre la producción y el consumo, o escrituras atómicas en varias particiones):
- Haga pruebas de carga de la ruta transaccional en concreto y por separado de su línea base de rendimiento sin transacciones, con una tasa de transacciones y un patrón de
transactional.idrepresentativos - Compruebe si el escalado horizontal de sus instancias de productores y consumidores mejora realmente el rendimiento transaccional en su entorno; si no lo hace, es la misma señal de alerta observada en el caso anterior, y vale la pena investigarla antes de pasar a producción
- Revise las notas de versión y los problemas conocidos actuales de Kafka 4.x específicamente sobre el comportamiento del coordinador de transacciones en KRaft, ya que es un área del código en evolución activa desde la eliminación de ZooKeeper
Si su caso de uso no requiere estrictamente transacciones, evalúe si sus requisitos de recuperación e idempotencia pueden cubrirse con patrones alternativos (solo la configuración de productor idempotente, sin transacciones completas; deduplicación a nivel de aplicación, o una arquitectura de recuperación distinta) que podrían evitar por completo el cuello de botella concreto observado aquí.
¿Qué enfoque de pruebas de carga valida realmente que Kafka 4.0 está listo para mi carga de trabajo?
El caso real al que se hace referencia en todo este artículo usó JMeter para generar una carga controlada y constante a una tasa específica de transacciones por segundo o por minuto, una elección deliberada precisamente porque ofrece una visibilidad clara y controlable de cómo responde el sistema a los aumentos de carga, en lugar de depender de patrones de tráfico de producción que son más difíciles de aislar y reproducir con fines de diagnóstico.
Un enfoque de validación sólido:
- Establezca primero una línea base de rendimiento sin transacciones, para tener un punto de comparación limpio
- Introduzca las transacciones y mida la diferencia de rendimiento con el mismo perfil de carga
- Pruebe explícitamente el escalado horizontal: agregue instancias de productores y consumidores y confirme que el rendimiento aumenta de verdad; si se estanca, esa es la señal para investigar cuellos de botella a nivel del coordinador antes de seguir avanzando
- Use una herramienta de generación de carga que le permita mantener una tasa de transacciones constante y conocida (JMeter, o el propio
kafka-producer-perf-test.shde Kafka para validar el lado del productor), en lugar de depender solo del tráfico orgánico durante un lanzamiento gradual
¿A qué versión de Kafka deberían apuntar realmente las organizaciones con clústeres antiguos basados en ZooKeeper?
Si hoy está en una versión anterior a KRaft y está planificando su ruta de actualización, Kafka 4.0 y las versiones posteriores prescinden de ZooKeeper por diseño: el soporte de ZooKeeper se eliminó, no solo quedó obsoleto, a partir de Kafka 4.0. Esto significa que su planificación de la actualización debe incluir una migración a KRaft como parte de la ruta, no como un paso opcional posterior.
Para cargas de trabajo que no usan intensivamente las transacciones de Kafka, esta migración suele tener menos riesgo que el caso descrito en este artículo, ya que el cuello de botella identificado aquí quedó aislado específicamente en el rendimiento transaccional, no en la operación general del clúster KRaft. Para cargas con uso intensivo de transacciones, presupueste tiempo explícito de pruebas de carga para la ruta transaccional como parte de su plan de migración, con el enfoque de validación descrito arriba, en lugar de suponer que las características de rendimiento de las transacciones anteriores a KRaft se mantienen sin cambios.
¿Cuál es la conclusión realista sobre si Kafka 4.0 está listo para producción?
La arquitectura central de KRaft está lista para producción y se está adoptando activamente para cargas exigentes, incluido el procesamiento de transacciones financieras. Las transacciones de Kafka, en concreto, ameritan una validación de carga dedicada antes de comprometerse con ellas para una carga de producción sensible al rendimiento, a partir directamente de una regresión de rendimiento real y reproducible observada en pruebas de producción. No es un motivo para evitar Kafka 4.0: es un motivo para probar deliberadamente su patrón de uso concreto en lugar de suponer una paridad de comportamiento total con las versiones de Kafka anteriores a KRaft en cada funcionalidad, transacciones incluidas.
Controladores aislados o modo combinado: qué recomienda el proyecto y qué desplegamos nosotros
Un clúster KRaft guarda sus metadatos en un quórum Raft de nodos controladores en lugar de en ZooKeeper. El quórum elige un controlador activo, que es dueño del log de metadatos: definiciones de topics y particiones, asignaciones de réplicas, elecciones de líder, configuraciones y ACL. Cada broker sigue ese log y lo aplica localmente. Cada nodo declara qué es mediante process.roles. Un nodo con process.roles=controller solo vota y sirve metadatos. Un nodo con process.roles=broker solo atiende el tráfico de clientes y los datos de las particiones. Un nodo con process.roles=broker,controller hace ambas cosas en la misma JVM, que es lo que el proyecto llama modo combinado.
La documentación oficial es clara sobre cuál de estos va en producción. Los controladores aislados en sus propios servidores son la disposición recomendada para cargas de producción. El modo combinado se describe como adecuado para desarrollo, pruebas y clústeres pequeños donde el aislamiento de recursos no es una preocupación. Tiene soporte y funciona, pero no es la disposición que el proyecto recomienda para despliegues críticos, y nuestra experiencia coincide con eso.
La razón es el acoplamiento de fallas. En modo combinado, un broker bajo presión de E/S o de recolección de basura también es un controlador, así que un broker con problemas no solo pierde el liderazgo de sus particiones: puede frenar las votaciones del quórum y las confirmaciones de metadatos de todo el clúster. El log de metadatos tiene que hacer fsync en cada confirmación, y en modo combinado ese fsync compite con las escrituras de los logs de particiones en los mismos discos y en la misma page cache, de modo que una ráfaga de tráfico de productores puede ralentizar justo el componente que coordina la recuperación. Un reinicio rolling de brokers también es un reinicio de controladores, así que cada actualización de versión o cambio de configuración rutinario de un broker también pone a prueba una elección de controlador. Con un puñado de brokers y poco tráfico, nada de esto importa demasiado. Con miles de particiones y discos al límite, los incidentes comunes de un broker se convierten en incidentes de metadatos de todo el clúster. Aislar los roles es lo que hace que un problema de un broker siga siendo un problema de un broker.
Dimensionar los controladores aislados es sencillo porque solo guardan metadatos, no datos de particiones. Tres controladores es lo adecuado para la mayoría de los clústeres y toleran la pérdida de uno. Cinco valen la pena en entornos muy grandes o despliegues en varias zonas donde quiere sobrevivir a la pérdida de una zona más una ventana de mantenimiento en otro nodo, a costa de un quórum un poco más lento. Las máquinas pequeñas sirven: pocos núcleos, unos pocos GB de heap y un disco modesto pero de baja latencia para el log de metadatos. Coloque un controlador por zona de disponibilidad, para que la falla de una zona no se lleve el quórum consigo. En Kubernetes, esto significa un node pool de controladores dedicado, separado del pool de brokers, tema que tratamos en Kafka en Kubernetes. La ubicación del quórum también forma parte de cualquier diseño serio de recuperación ante desastres de Kafka, porque un clúster que perdió su quórum de controladores no puede elegir líderes de partición aunque todos los brokers estén sanos.
Migrar un clúster existente de ZooKeeper sigue un orden fijo. Levante el nuevo quórum de controladores con zookeeper.metadata.migration.enable=true y la cadena de conexión de ZooKeeper, para que los controladores puedan leer los metadatos existentes. Luego reinicie los brokers uno por uno con el flag de migración y los votantes del quórum de controladores configurados, lo que pasa el clúster al modo de escritura dual, en el que los metadatos se escriben tanto en ZooKeeper como en el log de KRaft. Una vez reiniciados todos los brokers y verificados los metadatos, finalice quitando el flag de migración y la configuración de ZooKeeper de los controladores y reiniciándolos. Hasta ese punto puede volver a ZooKeeper; después de finalizar, ya no. Kafka 4.0 eliminó por completo el modo ZooKeeper, así que todo este procedimiento debe ejecutarse en una versión puente 3.9. Usted actualiza a 3.9, migra, finaliza y solo entonces pasa a 4.x.
Nuestra regla para cargas críticas es breve. Controladores aislados, tres nodos, uno por zona, en discos separados de todo lo demás. Modo combinado solo cuando el clúster tiene menos de un puñado de brokers y el motivo está documentado. Cuando nos hacemos cargo de un clúster que usa el modo combinado a escala, separar los roles suele ser nuestro primer cambio, antes que la estrategia de particiones o la capacidad. Si quiere que hagamos esa revisión en su entorno, nuestro equipo de consultoría de Kafka puede definir el alcance, y el soporte de Kafka cubre el clúster después, con cobertura 24/7 y objetivos de respuesta desde 15 minutos, según el plan.
Obtenga ayuda con su migración a Kafka 4.0
¿Está migrando a Kafka 4.0, o ve un techo de rendimiento inexplicable con las transacciones de Kafka en su clúster basado en KRaft? Contacte a AceMQ para un diagnóstico. ¿No sabe por dónde empezar? Hable con un ingeniero de AceMQ.
Este es el primero de diez pasos de la guía de operaciones de Kafka, que aborda las decisiones operativas en el orden en que se presentan en un entorno de producción.
Preguntas frecuentes
¿Kafka recomienda controladores KRaft aislados para producción?
Sí. La documentación oficial de Kafka recomienda ejecutar los controladores en servidores dedicados para cargas de producción y describe el modo combinado, en el que un nodo es a la vez broker y controlador, como adecuado para desarrollo, pruebas y clústeres pequeños donde el aislamiento de recursos no es una preocupación. El modo combinado tiene soporte y funciona, pero en ese caso un broker bajo presión de E/S o de GC también es un controlador, y reiniciar un broker también es reiniciar un controlador. Para cualquier carga crítica desplegamos controladores aislados en sus propios nodos y discos, y tratamos el modo combinado como una excepción documentada para clústeres muy pequeños.
¿Cuántos controladores KRaft debe tener un clúster de producción?
Tres para la mayoría de los clústeres y cinco para entornos muy grandes o distribuidos en varias zonas. Un quórum de tres nodos tolera la pérdida de un controlador, y uno de cinco tolera dos, lo que importa cuando quiere sobrevivir a la caída de una zona mientras otro controlador está fuera de servicio por mantenimiento. Los controladores solo guardan metadatos, así que bastan nodos pequeños con pocos núcleos, unos pocos GB de heap y un disco de baja latencia. Coloque un controlador por zona de disponibilidad, mantenga el log de metadatos en su propio disco y ejecútelos en un node pool dedicado en Kubernetes. No use un número par y no cuente los controladores como capacidad de broker.
¿El modo KRaft de Kafka 4.0 es lo bastante estable para producción?
Sí: KRaft es la arquitectura estándar de producción en Kafka 4.0, no una funcionalidad beta. Hay organizaciones que lo están desplegando para cargas exigentes, incluido el procesamiento de transacciones en el sector bancario, precisamente porque elimina la dependencia de ZooKeeper.
¿Qué salió mal realmente en el caso de producción con Kafka 4.0 que se analiza aquí?
Una plataforma de procesamiento de transacciones sobre Kafka 4.0.0 vio caer su rendimiento de unas 320,000 a 40,000-50,000 transacciones por hora tras agregar la mensajería transaccional de Kafka para tener capacidad de recuperación. Escalar las instancias del servicio no mejoró el rendimiento, y quitar las transacciones lo devolvió a la normalidad, lo que aisló la regresión específicamente en la ruta transaccional.
¿Las transacciones de Kafka no funcionan en modo KRaft?
No necesariamente están rotas, pero ameritan una validación más profunda: el comportamiento del coordinador de transacciones en KRaft es distinto en su arquitectura al de los clústeres basados en ZooKeeper. El techo de rendimiento observado era reproducible, no respondía al escalado horizontal y desaparecía al quitar las transacciones, lo que apunta al comportamiento del coordinador de transacciones como el cuello de botella más probable.
¿Debo evitar por completo las transacciones de Kafka en la versión 4.0?
No necesariamente, pero valide su patrón de uso transaccional concreto con una carga realista antes de comprometerse con él para una carga crítica en producción. Si las transacciones no son estrictamente necesarias, considere como alternativas la configuración de productor idempotente o la deduplicación a nivel de aplicación, que podrían evitar por completo el cuello de botella.
¿Cómo debo hacer pruebas de carga de Kafka 4.0 antes de pasar a producción?
Establezca primero una línea base de rendimiento sin transacciones; luego introduzca las transacciones y mida la diferencia con el mismo perfil de carga. Pruebe explícitamente el escalado horizontal: si el rendimiento se estanca en lugar de aumentar, investigue cuellos de botella a nivel del coordinador. Tanto JMeter como el propio kafka-producer-perf-test.sh de Kafka sirven para generar una carga constante y controlada.
¿A qué versión de Kafka debo apuntar si todavía tengo clústeres basados en ZooKeeper?
Kafka 4.0 y las versiones posteriores prescinden de ZooKeeper por diseño (el soporte de ZooKeeper se eliminó, no solo quedó obsoleto, a partir de la 4.0), así que la planificación de la actualización debe incluir una migración a KRaft como paso obligatorio, no opcional. Las cargas con uso intensivo de transacciones deberían presupuestar tiempo explícito de pruebas de carga para la ruta transaccional como parte de esa migración.
¿Cuál es la conclusión sobre si Kafka 4.0 está listo para producción?
La arquitectura central de KRaft está lista para producción y se usa activamente en cargas exigentes, incluido el procesamiento de transacciones financieras. Las transacciones de Kafka, en concreto, ameritan una validación de carga dedicada antes de comprometerse con ellas para un uso en producción sensible al rendimiento, a partir de una regresión de rendimiento real y reproducible.