En esta página
org.apache.kafka.common.errors.TimeoutException: Expiring N record(s) es uno de los errores de Kafka en producción más comunes, y uno de los peor diagnosticados. Es frecuente que los equipos recurran a cambios de configuración del lado del productor (subir request.timeout.ms, aumentar retries) cuando la causa real está del lado del broker, concretamente en cómo se distribuyen los roles de controlador y de broker en el clúster.
Este artículo recorre un caso de diagnóstico real: un clúster de Kafka físico de cinco nodos con timeouts frecuentes del productor, la causa raíz identificada y la corrección exacta que se aplicó.
¿Cuál es la causa real más común de los timeouts del productor de Kafka?
La contención entre los roles de controlador y de broker en los mismos nodos.
En un clúster en modo KRaft (la arquitectura de Kafka posterior a ZooKeeper), cada nodo puede configurarse para ejecutar un rol combinado de broker y controlador, o bien esos roles pueden separarse en nodos dedicados. Cuando todos los nodos ejecutan ambos roles, algo común en clústeres pequeños o que crecieron de forma orgánica, los procesos de controlador y de broker compiten por la misma CPU y la misma memoria en cada nodo, todo el tiempo.
En un caso real, un clúster de Kafka de cinco nodos configurado con todos los nodos como broker y controlador combinados sufría timeouts del productor, que se atribuyeron específicamente a que el nodo que actuaba como líder del controlador tenía una cantidad excesiva de conexiones activas, lo que generaba contención a nivel de broker. Así lo diagnosticó directamente el experto en Kafka de AceMQ: "Ahora mismo, como sus brokers, al tenerlos, como usted dijo, con los controladores y los brokers en la misma máquina física, están compitiendo todo el tiempo por memoria y por CPU, y eso causa latencia en el logging. Causa problemas con los metadatos con los que tiene que trabajar, porque compiten para actualizarse entre sí. Sepárenlos."
¿Cómo sé si mi factor de replicación está contribuyendo al problema?
Verifique si su factor de replicación es proporcional al tamaño de su clúster y a sus necesidades reales de durabilidad: la sobrerreplicación genera una sobrecarga real y medible.
En el mismo caso de diagnóstico, el clúster usaba un factor de replicación de 4 en un clúster físico de 5 nodos. La evaluación directa: "El factor de replicación 4 es excesivo para un clúster físico de 5 nodos, porque es un nivel alto de redundancia, pero tiene un precio alto, sobre todo con la distribución de sus topics en los cinco nodos. Definitivamente lo bajaría a tres, sobre todo con el volumen que tienen."
Por qué el factor de replicación importa específicamente para los timeouts del productor: cada mensaje producido debe ser confirmado por la cantidad requerida de réplicas sincronizadas (según su configuración de acks y min.insync.replicas) antes de que el productor reciba la confirmación. Un factor de replicación más alto significa que más réplicas tienen que escribir y confirmar antes de que llegue esa confirmación, y si esas escrituras de réplicas compiten en los mismos nodos con la contención de CPU y memoria del rol de controlador, la combinación termina en timeouts visibles para el productor.
Regla práctica: el factor de replicación 3 es la base estándar de durabilidad para Kafka en producción. Subir a 4 o más debería ser una decisión deliberada basada en requisitos de durabilidad demostrados, no un valor predeterminado.
¿Debo separar mis controladores de Kafka de mis brokers?
Sí, si está ejecutando roles combinados y tiene problemas de latencia o de timeouts del lado del productor: es uno de los cambios de arquitectura de mayor impacto disponibles.
La recomendación directa del mismo caso de diagnóstico: "Ahora mismo, como es producción... tal vez sumen otro controlador y pongan el controlador por separado, y mantengan al menos 3 nodos del lado de los brokers." Esto no requiere reconstruir todo el clúster: significa agregar uno o más nodos controladores dedicados y reconfigurar los nodos existentes para que ejecuten solo el rol de broker, lo que reduce la contención de CPU y memoria en cada nodo del clúster.
Ruta de migración práctica:
- Aprovisione un nodo nuevo (o reutilice uno existente) como controlador dedicado
- Reconfigure los nodos restantes con el rol de solo broker
- Mantenga un mínimo de 3 nodos broker para la durabilidad en producción
- Valide la salud del clúster y el comportamiento de las reelecciones antes de dar por terminada la migración
¿Qué otros cambios de configuración reducen los timeouts del productor?
Dos palancas de ajuste adicionales formaron parte de la misma corrección en el mundo real:
Aumentar la configuración de hilos de E/S de Kafka. La recomendación concreta fue tomar el valor actual de hilos (num.io.threads o la configuración equivalente de hilos de red y E/S) y duplicarlo, lo que ataca directamente los cuellos de botella de rendimiento bajo carga sin necesidad de cambios de arquitectura.
Monitorear las reelecciones de líder y la rotación por reasignaciones de particiones. Las reelecciones frecuentes del controlador o los cambios de liderazgo no planificados frenan el tráfico de los productores mientras el clúster se reorganiza. Como lo planteó el diagnóstico: "Miren estas dos de aquí: esto les va a dar una buena idea de la inestabilidad, de cómo se están comportando, y de si tienen que hacer reelecciones, si tienen que estar moviendo cosas todo el tiempo. Porque cuando mueven cosas, se detiene todo: esos topics se ralentizan." Seguir la tasa de elecciones de líder y la frecuencia de reasignación de particiones como métricas continuas (no solo durante un incidente) le da un sistema de alerta temprana ante la reaparición del mismo patrón de contención.
¿Esto significa que el timeout del productor nunca es realmente un problema de configuración del productor?
No: la configuración del lado del productor sí puede ser la causa raíz, y conviene confirmarla o descartarla pronto:
request.timeout.msconfigurado demasiado bajo para las características reales de su red y del tiempo de respuesta de los brokersmax.in.flight.requests.per.connectioncombinado con reintentos, que provoca problemas de reordenamiento de mensajes que terminan pareciendo timeoutsbatch.sizeylinger.msmal configurados para su patrón de rendimiento, lo que hace que el productor retenga los mensajes más tiempo del esperado antes de enviarlos- Memoria de búfer del productor insuficiente (
buffer.memory), que provoca unaBufferExhaustedExceptionque se interpreta erróneamente como un timeout
La disciplina de diagnóstico que importa aquí: revise primero la salud del lado del broker y la separación entre controlador y broker, ya que esa es la causa raíz más común en despliegues reales, antes de dedicar tiempo a ajustar la configuración del cliente productor, que quizás no sea el verdadero cuello de botella.
¿Y los cambios de SSL/TLS? ¿Podrían estar causando mis timeouts?
Si está en medio de una actualización o cambió hace poco la configuración de TLS y empezó a ver timeouts, no suponga que TLS no tiene nada que ver, pero tampoco suponga que es la causa principal si tiene una contención entre controlador y broker sin resolver.
En el mismo caso, el cliente había intentado hacía poco un cambio de certificado SSL que falló y obligó a revertirlo, y por separado reportaba timeouts del productor. La recomendación fue explícita sobre el orden: atender primero el factor de replicación y la separación entre controlador y broker. "No miren ahora el SSL... bajen la replicación a tres, agreguen los brokers y sepárenlos, y después vean cómo rinde... Yo no intentaría lo de TLS/SSL hasta llegar a Kafka 4." Estabilice la arquitectura central del clúster antes de sumar cambios adicionales, como la rotación de certificados, sobre un clúster que ya está al límite.
¿Es algo que debo resolver por mi cuenta o necesita una revisión experta?
El patrón de diagnóstico de este caso (factor de replicación, topología de controladores y brokers, configuración de hilos y frecuencia de reelecciones) es abordable para un equipo con experiencia sólida en la operación de Kafka. Pero el motivo por el que este caso en particular escaló a una revisión experta es común: los síntomas (timeouts del productor) no apuntan de forma evidente a la causa (contención entre controlador y broker) sin experiencia de diagnóstico a nivel de clúster en muchas topologías de Kafka distintas.
Si ve timeouts del productor y ya descartó los problemas de red evidentes, el camino más rápido hacia la causa raíz suele ser una revisión estructurada de la topología de roles de su clúster, la configuración de replicación y las métricas de reelección, no un ajuste incremental de la configuración del cliente productor parámetro por parámetro.
Obtenga ayuda con los timeouts del productor de Kafka
¿Tiene timeouts del productor de Kafka en producción? Contacte a AceMQ para una revisión de la arquitectura del clúster: identificaremos si se trata de contención del controlador, de la sobrecarga de la replicación o de algo completamente distinto. ¿No sabe por dónde empezar? Hable con un ingeniero de AceMQ.
Este es el quinto de diez pasos de la guía de operaciones de Kafka, que aborda las decisiones operativas en el orden en que se presentan en un entorno de producción.
Preguntas frecuentes
¿Cuál es la causa real más común de los timeouts del productor de Kafka?
La contención entre los roles de controlador y de broker en los mismos nodos físicos. En clústeres en modo KRaft que ejecutan roles combinados de broker y controlador, el nodo líder del controlador puede acumular una cantidad excesiva de conexiones y competir con el proceso del broker por CPU y memoria, lo que genera una latencia que aparece como timeouts del lado del productor y no como un error evidente del broker.
¿Cómo sé si mi factor de replicación está contribuyendo a los timeouts del productor?
Verifique si el factor de replicación es proporcional al tamaño del clúster: un factor de 4 en un clúster de 5 nodos es una redundancia excesiva que agrega una sobrecarga real. Cada mensaje producido debe ser confirmado por las réplicas sincronizadas requeridas antes de que el productor reciba la confirmación, así que un factor de replicación más alto, sumado a la contención del controlador, termina en timeouts. El factor de replicación 3 es la base estándar para producción.
¿Debo separar mis controladores de Kafka de mis brokers?
Sí, si está ejecutando roles combinados de controlador y broker y ve latencia o timeouts del lado del productor: es una de las correcciones de mayor impacto disponibles. Aprovisione un nodo controlador dedicado, reconfigure los nodos existentes para que sean solo brokers y mantenga un mínimo de 3 nodos broker para la durabilidad en producción.
¿Qué otros cambios de configuración ayudan a reducir los timeouts del productor de Kafka?
Duplicar la configuración actual de hilos de E/S (num.io.threads o su equivalente) ataca directamente los cuellos de botella de rendimiento. Por otro lado, monitoree de forma continua la frecuencia de reelecciones de líder y la rotación por reasignaciones de particiones: las reelecciones frecuentes frenan el tráfico de los productores cada vez que el clúster se reorganiza.
¿Un timeout del productor de Kafka puede ser realmente un problema de configuración del productor?
Sí: un request.timeout.ms demasiado bajo, max.in.flight.requests.per.connection combinado con reintentos, batch.size/linger.ms mal configurados y un buffer.memory insuficiente pueden causar timeouts o parecerse a ellos. Revise primero la salud del lado del broker y la separación entre controlador y broker, ya que esa es la causa raíz más común en despliegues reales.
¿Un cambio reciente de SSL/TLS podría estar causando los timeouts del productor de Kafka?
Es posible, pero no suponga que es la causa principal si tiene una contención entre controlador y broker sin resolver o un factor de replicación sobredimensionado. Estabilice la arquitectura central del clúster (factor de replicación y separación de roles) antes de sumar cambios de TLS/SSL sobre un clúster que ya está al límite.
¿Debo resolver los timeouts del productor de Kafka por mi cuenta o pedir una revisión experta?
El factor de replicación, la topología de controladores y brokers, la configuración de hilos y la frecuencia de reelecciones son temas abordables para equipos con experiencia sólida en la operación de Kafka. Una revisión experta ayuda porque el síntoma (timeouts del productor) rara vez apunta de forma evidente a la causa (contención del controlador) sin experiencia de diagnóstico en muchas topologías de clúster distintas.