Guía · Kafka

Guía de monitorización y alertas de Kafka

La mayoría de los dashboards de Kafka lo muestran todo y no alertan de nada útil. El clúster está en verde, los consumidores llevan horas de retraso y el primero en darse cuenta es un equipo aguas abajo. Esta guía separa el puñado de métricas que indican un problema real de los cientos que expone Kafka, y explica ante qué debe avisar cada una.

Tyler Eastridge

Por Tyler Eastridge, Director de Operaciones

LinkedIn · Actualizado el · 6 min de lectura · 7 secciones

En esta página

La monitorización de Kafka en un párrafo

La monitorización de Kafka en un párrafo

Kafka publica sus métricas a través de JMX, así que la única decisión sobre la recogida es qué exportador conectar. En los brokers, cuatro cifras concentran la mayor parte de la señal: UnderReplicatedPartitions y UnderMinIsrPartitionCount indican que la replicación está degradada y, en el segundo caso, que las escrituras con acks=all ya están fallando; un OfflinePartitionsCount mayor que cero significa que hay datos no disponibles en este momento; y ActiveControllerCount debe sumar exactamente uno en todo el clúster. Por debajo de ellas, los porcentajes de inactividad de los request handlers y de los network processors indican si los brokers tienen margen. En el lado de los clientes, el lag de consumidores importa como tasa y como tiempo para ponerse al día, no como distancia bruta en offsets, y la tasa de errores y la latencia de las peticiones del productor muestran que la ruta de confirmación se degrada antes de que falle. Alerte sobre las cuatro condiciones de los brokers, sobre un lag que crece durante más tiempo del que dura un despliegue y sobre los errores del productor; el resto, en gráficas.

Recogida: JMX y qué hacer con él

Todas las métricas de brokers, productores y consumidores que mantiene Kafka se exponen por JMX. En la práctica, eso significa ejecutar el exportador JMX de Prometheus como agente Java en cada broker y recoger las métricas de cliente de las propias aplicaciones, en lugar de deducirlas desde el broker. El lag de consumidores es la excepción que merece un exportador dedicado, porque la visión del broker y la del propio consumidor discrepan justo en las situaciones que le interesan: un consumidor que ha dejado de hacer poll sigue teniendo offsets confirmados en __consumer_offsets, de modo que el grupo parece vivo visto desde fuera.

Salud de la replicación: las cuatro cifras de los brokers

Un UnderReplicatedPartitions mayor que cero significa que al menos un follower ha salido del conjunto de réplicas sincronizadas: el clúster sigue atendiendo, pero ha perdido redundancia. UnderMinIsrPartitionCount es más grave, porque una partición por debajo de min.insync.replicas rechaza todas las peticiones de producción con acks=all, así que los productores están fallando mientras los brokers parecen estar en pie. Un OfflinePartitionsCount mayor que cero significa que hay particiones sin líder, no disponibles ni para lectura ni para escritura. Y ActiveControllerCount sumado en todo el clúster debe ser igual a uno; cero significa que no hay controlador, y dos, un split-brain. Esas cuatro son la lista de avisos que despiertan a alguien.

Saturación: request handlers, hilos de red y disco

RequestHandlerAvgIdlePercent y NetworkProcessorAvgIdlePercent son el margen de los brokers. Valores sostenidos por debajo de aproximadamente el 30 % significan que los pools de hilos son el cuello de botella y que todo lo que depende de ellos se ralentiza, replicación incluida, que es como un problema de saturación se convierte en un problema de particiones infrarreplicadas. Vigile a la vez las tasas de contracción y expansión del ISR: un clúster que contrae y expande su ISR una y otra vez suele andar escaso de IO o de red, no de brokers. El llenado del disco es el otro clásico, y lo que lo gobierna es la retención.

Objetivos de respuesta desde 15 minutos, según el plan. Ingenieros sénior asignados.

Contacto

Lag de consumidores: una tasa, no un número

El lag es la distancia entre el log end offset de una partición y el offset confirmado del grupo de consumidores. La cifra absoluta, por sí sola, casi no significa nada, porque un consumidor sano de alto rendimiento puede ir miles de mensajes por detrás y ponerse al día en segundos. Lo que importa es si el lag crece y cuánto tardaría el grupo en volver a cero a su ritmo de consumo actual. Alerte cuando el crecimiento se mantenga durante una ventana más larga que un despliegue normal y cuando el tiempo para ponerse al día supere lo que tolera el sistema aguas abajo. Un umbral estático salta en cada reinicio escalonado y enseña a todo el mundo a ignorarlo.

Rebalanceos: cuéntelos y encuentre la causa

Un rebalanceo detiene el consumo de todo el grupo mientras se reasignan las particiones, así que su frecuencia es una métrica de disponibilidad del consumo. Mídala por grupo. Un grupo que se rebalancea con regularidad casi siempre está chocando con max.poll.interval.ms, porque procesar un lote tarda más que el intervalo configurado, o está perdiendo miembros por timeouts de sesión. La solución está en la causa y no en el timeout, aunque la asignación cooperative sticky y la pertenencia estática al grupo reducen lo que cuesta cada rebalanceo mientras la busca.

Lado del productor: tasa de errores y ruta de latencia

Una tasa de errores de registros del productor mayor que cero siempre merece una alerta, porque un productor que no puede escribir pierde datos a menos que la aplicación gestione bien el fallo, y la mayoría no lo hace. La latencia de las peticiones es el indicador adelantado: sube a medida que se degrada la ruta de confirmación, mucho antes de que empiecen los timeouts. Si los bytes de búfer disponibles caen hacia cero, el cliente está produciendo más rápido de lo que puede enviar y empezará a bloquearse o a descartar mensajes, según la configuración. Las tres son métricas del lado del cliente, y por eso recoger solo las de los brokers le deja ciego ante el modo de fallo que los usuarios notan primero.

La lista de alertas que merece la pena tener

Avisos que despiertan a alguien: particiones offline por encima de cero, particiones por debajo del min ISR por encima de cero, número de controladores activos distinto de uno, tasa de errores del productor por encima de cero y lag de consumidores creciendo durante más tiempo que una ventana de despliegue. Ticket, sin aviso: particiones infrarreplicadas que se recuperan en minutos, inactividad de los request handlers por debajo del treinta por ciento, tasa de rebalanceos por encima de lo habitual y disco por encima del setenta por ciento. Todo lo demás pertenece a un dashboard que alguien consulta durante un incidente, no a una rotación de guardias. La prueba de una alerta es si la persona a la que despierta puede hacer algo al respecto a las tres de la madrugada.

Preguntas frecuentes

¿Qué métricas de Kafka deberían despertar a alguien?

Particiones offline por encima de cero, particiones por debajo del min ISR por encima de cero, número de controladores activos distinto de uno, tasa de errores de registros del productor por encima de cero y lag de consumidores que crece durante una ventana más larga que un despliegue. Las particiones infrarreplicadas y la saturación de los pools de hilos merecen un ticket y no un aviso, salvo que persistan.

¿Qué diferencia hay entre particiones infrarreplicadas y particiones por debajo del min ISR?

Infrarreplicada significa que un follower ha salido del conjunto de réplicas sincronizadas, así que la redundancia se reduce, pero la partición sigue atendiendo. Por debajo del min ISR significa que el conjunto sincronizado ha caído por debajo de min.insync.replicas, de modo que las peticiones de producción con acks=all ya se están rechazando mientras los propios brokers parecen sanos.

¿Cómo se debe alertar sobre el lag de consumidores?

Como tasa y como tiempo para ponerse al día, no como distancia absoluta en offsets. Un consumidor sano de alto rendimiento puede ir muy por detrás y recuperarse en segundos, así que un umbral estático salta en cada reinicio escalonado. Alerte sobre el lag que sigue creciendo más allá de una ventana de despliegue normal.

¿Basta con monitorizar los brokers o importan las métricas de cliente?

Las métricas de cliente importan, y monitorizar solo los brokers pasa por alto los fallos que los usuarios notan primero. La tasa de errores del productor, la latencia de las peticiones y el lag de consumidores están en el lado del cliente; un consumidor que ha dejado de hacer poll puede seguir pareciendo vivo según los offsets confirmados que ve el broker.

Consulta gratuita

Que un experto revise su clúster de Kafka

Tanto si está resolviendo un incidente en producción como si planifica una migración o quiere una segunda opinión sobre su arquitectura, nuestro equipo está preparado. Sin discursos comerciales, solo respuestas.

Escríbanos