Guía · Kafka

Guía de monitoreo y alertas de Kafka

La mayoría de los dashboards de Kafka muestran todo y no alertan sobre nada útil. El clúster está en verde, los consumidores van horas atrasados y el primero en darse cuenta es un sistema downstream. Esta guía separa el puñado de métricas que indican un problema real de los cientos que expone Kafka, y explica ante qué debería disparar cada una una alerta.

Tyler Eastridge

Por Tyler Eastridge, Director de operaciones

LinkedIn · Actualizado el · 6 min de lectura · 7 secciones

En esta página

El monitoreo de Kafka en un párrafo

El monitoreo de Kafka en un párrafo

Kafka publica sus métricas por JMX, así que la única pregunta sobre la recolección es qué exporter conectarle. En los brokers, cuatro números concentran casi toda la señal: UnderReplicatedPartitions y UnderMinIsrPartitionCount indican que la replicación está degradada y, en el segundo caso, que las escrituras con acks=all ya están fallando; OfflinePartitionsCount por encima de cero significa que hay datos no disponibles en este momento; y ActiveControllerCount sumado en todo el clúster debe dar exactamente uno. Por debajo de esos, los porcentajes de inactividad de los request handlers y de los network processors indican si los brokers tienen margen. Del lado del cliente, el consumer lag importa como tasa y como tiempo para ponerse al día, no como distancia bruta en offsets, y la tasa de errores y la latencia de solicitudes del productor muestran la degradación de la ruta de acknowledgement antes de que falle. Alerte sobre las cuatro condiciones de los brokers, sobre un lag que crece durante más tiempo del que toma un despliegue y sobre los errores del productor; lo demás, grafíquelo.

Recolección: JMX y qué hacer con él

Todas las métricas de brokers, productores y consumidores que mantiene Kafka se exponen por JMX. En la práctica, eso significa ejecutar el JMX exporter de Prometheus como agente Java en cada broker y recolectar las métricas de clientes desde las propias aplicaciones, en lugar de inferirlas desde el broker. El consumer lag es la excepción que justifica un exporter dedicado, porque la vista del broker y la del propio consumidor no coinciden justamente en las situaciones que le importan: un consumidor que dejó de hacer poll todavía tiene offsets confirmados en __consumer_offsets, así que desde afuera el grupo parece vivo.

Salud de la replicación: los cuatro números del broker

UnderReplicatedPartitions por encima de cero significa que al menos un follower quedó fuera del conjunto de réplicas sincronizadas: el clúster sigue respondiendo, pero perdió redundancia. UnderMinIsrPartitionCount es más grave, porque una partición por debajo de min.insync.replicas rechaza cada solicitud de producción con acks=all, así que los productores están fallando mientras los brokers parecen estar arriba. OfflinePartitionsCount por encima de cero significa que hay particiones sin líder, no disponibles ni para lectura ni para escritura. Y ActiveControllerCount sumado en todo el clúster debe ser igual a uno; cero significa que no hay controlador, y dos, un split brain. Esas cuatro son la lista de alertas que despiertan a alguien.

Saturación: request handlers, hilos de red y disco

RequestHandlerAvgIdlePercent y NetworkProcessorAvgIdlePercent son el margen de los brokers. Valores sostenidos por debajo de aproximadamente el 30 % significan que los pools de hilos son el cuello de botella y que todo lo que depende de ellos se vuelve más lento, incluida la replicación; así es como un problema de saturación se convierte en un problema de particiones subreplicadas. Vigile también las tasas de contracción y expansión del ISR: un clúster que contrae y expande su ISR una y otra vez suele estar corto de I/O o de red, no de brokers. El disco lleno es el otro clásico, y lo que lo gobierna es la retención.

Objetivos de respuesta desde 15 minutos, según el plan. Ingenieros sénior asignados.

Contáctenos

Consumer lag: una tasa, no un número

El lag es la distancia entre el log end offset de una partición y el offset confirmado del consumer group. La cifra absoluta por sí sola casi no significa nada, porque un consumidor sano de alto throughput puede estar miles de mensajes atrás y ponerse al día en segundos. Lo que importa es si el lag está creciendo y cuánto tardaría el grupo en volver a cero a su ritmo de consumo actual. Alerte ante un crecimiento sostenido durante una ventana más larga que un despliegue normal, y cuando el tiempo para ponerse al día supere lo que tolere el sistema downstream. Un umbral estático dispara alertas en cada reinicio progresivo y enseña a todos a ignorarlo.

Rebalanceos: cuéntelos y encuentre el detonante

Un rebalanceo detiene el consumo de todo el grupo mientras se reasignan las particiones, así que la frecuencia de rebalanceos es una métrica de disponibilidad del consumo. Mídala por grupo. Un grupo que se rebalancea con regularidad casi siempre está chocando con max.poll.interval.ms porque procesar un lote tarda más que el intervalo configurado, o está perdiendo miembros por timeouts de sesión. La solución está en el detonante, no en el timeout, aunque la asignación cooperative sticky y la membresía estática del grupo reducen lo que cuesta cada rebalanceo mientras lo encuentra.

Del lado del productor: tasa de errores y la ruta de latencia

Una tasa de errores de registros del productor por encima de cero siempre merece una alerta, porque un productor que no puede escribir está perdiendo datos, a menos que la aplicación maneje bien la falla, y la mayoría no lo hace. La latencia de solicitudes es el indicador adelantado: sube a medida que se degrada la ruta de acknowledgement, mucho antes de que empiecen los timeouts. Si buffer-available-bytes cae hacia cero, el cliente está produciendo más rápido de lo que puede enviar y empezará a bloquearse o a descartar mensajes, según la configuración. Las tres son métricas del lado del cliente, y por eso recolectar solo desde los brokers lo deja ciego ante el modo de falla que los usuarios notan primero.

La lista de alertas que vale la pena tener

Despierte a la guardia ante: particiones offline por encima de cero, particiones por debajo del min ISR por encima de cero, una cantidad de controladores activos distinta de uno, una tasa de errores del productor por encima de cero y un consumer lag que crece durante más tiempo que una ventana de despliegue. Abra un ticket, sin despertar a nadie, ante: particiones subreplicadas que se recuperan en minutos, inactividad de los request handlers por debajo del 30 %, una tasa de rebalanceos por encima de la línea base y un disco por encima del 70 %. Todo lo demás pertenece a un dashboard que alguien consulta durante un incidente, no a una rotación de guardias. La prueba de una alerta es si la persona a la que despierta puede hacer algo al respecto a las tres de la mañana.

Preguntas frecuentes

¿Qué métricas de Kafka deberían realmente despertar a alguien?

Particiones offline por encima de cero, particiones por debajo del min ISR por encima de cero, una cantidad de controladores activos distinta de uno, una tasa de errores de registros del productor por encima de cero y un consumer lag que crece durante una ventana más larga que un despliegue. Las particiones subreplicadas y la saturación de los pools de hilos merecen un ticket, no una alerta a la guardia, salvo que persistan.

¿Cuál es la diferencia entre particiones subreplicadas y particiones por debajo del min ISR?

Subreplicada significa que un follower quedó fuera del conjunto de réplicas sincronizadas, así que la redundancia se reduce pero la partición sigue respondiendo. Por debajo del min ISR significa que el conjunto sincronizado cayó por debajo de min.insync.replicas, así que las solicitudes de producción con acks=all ya se están rechazando mientras los propios brokers parecen sanos.

¿Cómo se deben configurar las alertas de consumer lag?

Como tasa y como tiempo para ponerse al día, no como distancia absoluta en offsets. Un consumidor sano de alto throughput puede ir muy atrás y recuperarse en segundos, así que un umbral estático dispara alertas en cada reinicio progresivo. Alerte ante un lag que sigue creciendo más allá de una ventana normal de despliegue.

¿Basta con monitorear los brokers o importan las métricas de los clientes?

Las métricas de los clientes importan, y monitorear solo los brokers pasa por alto las fallas que los usuarios notan primero. La tasa de errores del productor, la latencia de solicitudes y el consumer lag están del lado del cliente; un consumidor que dejó de hacer poll puede seguir pareciendo vivo desde la vista del broker sobre los offsets confirmados.

Consulta gratuita

Que un experto revise su clúster de Kafka

Ya sea que esté resolviendo un incidente en producción, planificando una migración o quiera una segunda opinión sobre su arquitectura, nuestro equipo está listo. Sin discursos de venta, solo respuestas.

Escríbanos