Kafka

¿Qué provoca realmente un timeout del productor de Kafka y cómo se resuelve?

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el

PRODUCERproducer-1CONTROLLERleaderBROKER 2BROKER 3TIMEOUTController/Broker Contention
En esta página

org.apache.kafka.common.errors.TimeoutException: Expiring N record(s) es uno de los errores de Kafka más habituales en producción, y uno de los peor diagnosticados. Los equipos recurren con frecuencia a cambios de configuración en el productor (subir request.timeout.ms, aumentar retries) cuando la causa real está del lado del broker, en concreto en cómo se reparten los roles de controller y broker en el clúster.

Este artículo recorre un caso de diagnóstico real: un clúster físico de Kafka de cinco nodos con frecuentes timeouts del productor, la causa raíz identificada y la corrección exacta que se aplicó.

¿Cuál es la causa real más habitual de los timeouts del productor de Kafka?

La contención entre los roles de controller y broker en los mismos nodos.

En un clúster en modo KRaft (la arquitectura de Kafka posterior a ZooKeeper), cada nodo puede configurarse con un rol combinado de broker y controller, o bien esos roles pueden separarse en nodos dedicados. Cuando todos los nodos ejecutan ambos roles, algo habitual en clústeres pequeños o que han crecido de forma orgánica, los procesos del controller y del broker compiten constantemente por la misma CPU y la misma memoria en cada nodo.

En un caso real, un clúster de Kafka de cinco nodos configurado con todos los nodos como broker y controller combinados sufría timeouts del productor cuyo origen estaba precisamente en el nodo que actuaba como líder del controller, que tenía un número excesivo de conexiones activas y provocaba contención a nivel de broker. Así lo diagnosticó directamente el experto en Kafka de AceMQ: «Ahora mismo, como sus brokers, al tener, como decía usted, los controllers y los brokers en la misma máquina física, están compitiendo todo el rato por la memoria y por la CPU, y eso provoca latencia en el logging. Causa problemas con los metadatos con los que tiene que trabajar, porque compiten para actualizarse entre sí. Sepárelos».

¿Cómo sé si mi factor de replicación contribuye al problema?

Compruebe si su factor de replicación es proporcionado al tamaño del clúster y a sus necesidades reales de durabilidad: la sobrerreplicación genera una sobrecarga real y medible.

En el mismo caso de diagnóstico, el clúster funcionaba con un factor de replicación de 4 en un clúster físico de 5 nodos. La valoración directa: «El factor de replicación 4 es excesivo para un clúster físico de 5 nodos, porque es un nivel de redundancia alto, pero tiene un precio elevado, sobre todo con la distribución de sus topics en los cinco nodos. Yo sin duda lo bajaría a tres, sobre todo con el volumen que tienen».

Por qué importa el factor de replicación en los timeouts del productor en concreto: cada mensaje producido debe ser confirmado por el número necesario de réplicas sincronizadas (según sus ajustes de acks y min.insync.replicas) antes de que el productor reciba la confirmación. Un factor de replicación más alto implica que más réplicas tienen que escribir y confirmar antes de que llegue esa confirmación y, si esas escrituras de las réplicas compiten con la contención de CPU y memoria del rol de controller en los mismos nodos, la combinación acaba en timeouts visibles para el productor.

Regla general: un factor de replicación 3 es la base estándar de durabilidad para Kafka en producción. Subir a 4 o más debería ser una decisión deliberada basada en requisitos de durabilidad demostrados, no un valor por defecto.

¿Debo separar los controllers de Kafka de los brokers?

Sí, si ejecuta roles combinados y sufre problemas de latencia o de timeouts en el productor: es uno de los cambios de arquitectura con mayor impacto que existen.

La recomendación directa en el mismo caso de diagnóstico: «Ahora mismo, como es producción... quizá metan otro controller, pongan el controller por separado y mantengan al menos 3 nodos del lado de los brokers». Esto no exige reconstruir todo el clúster: consiste en añadir uno o varios nodos controller dedicados y reconfigurar los nodos existentes para que solo ejecuten el rol de broker, reduciendo la contención de CPU y memoria en todos los nodos del clúster.

Ruta de migración práctica:

  1. Aprovisione un nodo nuevo (o reutilice uno existente) como controller dedicado
  2. Reconfigure el resto de nodos con el rol de broker únicamente
  3. Mantenga un mínimo de 3 nodos broker para garantizar la durabilidad en producción
  4. Valide la salud del clúster y el comportamiento de las reelecciones antes de dar por terminada la migración

¿Qué otros cambios de configuración reducen los timeouts del productor?

La misma corrección real incluyó otras dos palancas de ajuste:

Aumentar los hilos de E/S de Kafka. La recomendación concreta fue tomar el valor actual de hilos (num.io.threads o la configuración equivalente de hilos de red y E/S) y duplicarlo, lo que ataca directamente los cuellos de botella de throughput bajo carga sin necesidad de cambios de arquitectura.

Monitorizar las reelecciones de líder y la rotación por reasignaciones de particiones. Las reelecciones frecuentes del controller o los cambios de liderazgo no planificados bloquean el tráfico de los productores mientras el clúster se reorganiza. Como se dijo en el diagnóstico: «Fíjense en estas dos de aquí: les darán una buena idea de la inestabilidad, de cómo se están comportando y de si tienen que hacer reelecciones, si tienen que mover cosas todo el rato. Porque cuando se mueven, se para todo: esos topics se ralentizan». Vigilar como métricas continuas (no solo durante un incidente) la tasa de elecciones de líder y la frecuencia de reasignación de particiones le proporciona un sistema de alerta temprana ante la repetición del mismo patrón de contención.

¿Significa esto que mi timeout del productor nunca es realmente un problema de configuración del productor?

No: la configuración del productor puede ser sin duda la causa raíz, y conviene confirmarlo o descartarlo pronto:

  • Un request.timeout.ms demasiado bajo para las características reales de su red y de la respuesta de sus brokers
  • max.in.flight.requests.per.connection combinado con reintentos, que provoca problemas de reordenación de mensajes que acaban pareciendo timeouts
  • batch.size y linger.ms mal configurados para su patrón de throughput, de modo que el productor retiene los mensajes más tiempo del esperado antes de enviarlos
  • Memoria de buffer insuficiente en el productor (buffer.memory), que provoca una BufferExhaustedException que se interpreta erróneamente como un timeout

La disciplina de diagnóstico que importa aquí: compruebe primero la salud del lado del broker y la separación entre controllers y brokers, ya que es la causa raíz más habitual en los despliegues reales, antes de dedicar tiempo a ajustar una configuración del cliente productor que quizá no sea el verdadero cuello de botella.

Objetivos de respuesta desde 15 minutos, según el plan. Ingenieros sénior asignados.

Contacto

¿Y los cambios de SSL/TLS? ¿Pueden estar provocando mis timeouts?

Si está a mitad de una actualización o ha cambiado recientemente la configuración de TLS y han empezado a aparecer timeouts, no dé por hecho que TLS no tiene nada que ver, pero tampoco que es la causa principal si tiene una contención entre controllers y brokers sin resolver.

En el mismo caso, el cliente había intentado hacía poco un cambio de certificado SSL que falló y obligó a una marcha atrás, y por otro lado notificaba timeouts del productor. La orientación fue explícita en cuanto al orden: abordar primero el factor de replicación y la separación entre controllers y brokers. «Ahora mismo no miren el SSL... bajen la replicación a tres, añadan los brokers y sepárenlos, y luego vean cómo rinde... Yo no intentaría lo de TLS/SSL hasta que estén en Kafka 4». Estabilice la arquitectura central del clúster antes de añadir cambios adicionales, como la rotación de certificados, sobre un clúster que ya está al límite.

¿Es algo que debo corregir yo mismo o necesita una revisión experta?

El patrón de diagnóstico de este caso (factor de replicación, topología de controllers y brokers, configuración de hilos y frecuencia de reelecciones) está al alcance de un equipo con una experiencia operativa sólida en Kafka. Pero el motivo por el que este caso concreto acabó en una revisión experta es habitual: los síntomas (timeouts del productor) no apuntan de forma evidente a la causa (contención entre controllers y brokers) sin experiencia de diagnóstico a nivel de clúster en muchas topologías de Kafka distintas.

Si ve timeouts del productor y ya ha descartado los problemas de red evidentes, el camino más rápido hacia la causa raíz suele ser una revisión estructurada de la topología de roles del clúster, de la configuración de replicación y de las métricas de reelección, no el ajuste incremental de la configuración del cliente productor parámetro a parámetro.

Obtenga ayuda con los timeouts del productor de Kafka

¿Sufre timeouts del productor de Kafka en producción? Póngase en contacto con AceMQ para una revisión de la arquitectura del clúster: identificaremos si se trata de contención del controller, de sobrecarga por replicación o de algo totalmente distinto. ¿No sabe por dónde empezar? Hable con un ingeniero de AceMQ.

Este es el quinto de los diez pasos de la guía de operaciones de Kafka, que aborda las decisiones operativas en el orden en que se presentan en un entorno de producción.

Preguntas frecuentes

¿Cuál es la causa real más habitual de los timeouts del productor de Kafka?

La contención entre los roles de controller y broker en los mismos nodos físicos. En los clústeres en modo KRaft que ejecutan roles combinados de broker y controller, el nodo líder del controller puede acumular un número excesivo de conexiones y competir con el proceso del broker por la CPU y la memoria, lo que produce una latencia que aflora como timeouts en el productor en lugar de como un error evidente del broker.

¿Cómo sé si mi factor de replicación contribuye a los timeouts del productor?

Compruebe si el factor de replicación es proporcionado al tamaño del clúster: un factor de 4 en un clúster de 5 nodos es una redundancia excesiva que añade una sobrecarga real. Cada mensaje producido debe ser confirmado por las réplicas sincronizadas necesarias antes de que el productor reciba la confirmación, así que un factor de replicación alto sumado a la contención del controller acaba en timeouts. Un factor de replicación 3 es la base estándar en producción.

¿Debo separar los controllers de Kafka de los brokers?

Sí, si ejecuta roles combinados de controller y broker y observa latencia o timeouts en el productor: es una de las correcciones con mayor impacto que existen. Aprovisione un nodo controller dedicado, reconfigure los nodos existentes para que solo sean brokers y mantenga un mínimo de 3 nodos broker para garantizar la durabilidad en producción.

¿Qué otros cambios de configuración ayudan a reducir los timeouts del productor de Kafka?

Duplicar el valor actual de hilos de E/S (num.io.threads o su equivalente) ataca directamente los cuellos de botella de throughput. Además, monitorice de forma continua la frecuencia de las reelecciones de líder y la rotación por reasignaciones de particiones: las reelecciones frecuentes bloquean el tráfico de los productores cada vez que el clúster se reorganiza.

¿Puede un timeout del productor de Kafka ser realmente un problema de configuración del productor?

Sí: un request.timeout.ms demasiado bajo, max.in.flight.requests.per.connection combinado con reintentos, un batch.size o un linger.ms mal configurados y un buffer.memory insuficiente pueden provocar timeouts o hacerse pasar por ellos. Compruebe primero la salud del lado del broker y la separación entre controllers y brokers, ya que es la causa raíz más habitual en los despliegues reales.

¿Puede un cambio reciente de SSL/TLS estar provocando mis timeouts del productor de Kafka?

Es posible, pero no dé por hecho que es la causa principal si tiene una contención entre controllers y brokers sin resolver o un factor de replicación sobredimensionado. Estabilice primero la arquitectura central del clúster (factor de replicación y separación de roles) antes de añadir cambios de TLS/SSL sobre un clúster que ya está al límite.

¿Debo resolver yo mismo los timeouts del productor de Kafka o pedir una revisión experta?

El factor de replicación, la topología de controllers y brokers, la configuración de hilos y la frecuencia de las reelecciones están al alcance de equipos con una experiencia operativa sólida en Kafka. La revisión experta ayuda porque el síntoma (timeouts del productor) rara vez apunta de forma evidente a la causa (contención del controller) sin experiencia de diagnóstico en muchas topologías de clúster distintas.

Consulta gratuita

Que un experto revise su clúster de Kafka

Tanto si está resolviendo un incidente en producción como si planifica una migración o quiere una segunda opinión sobre su arquitectura, nuestro equipo está preparado. Sin discursos comerciales, solo respuestas.

Escríbanos