BlogRabbitMQ

Prefetch count en RabbitMQ: por qué un prefetch bien configurado es clave en clústeres de tiempo real y alto throughput

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el · 16 min de lectura

Prefetch count en RabbitMQ: por qué un prefetch bien configurado es clave en clústeres de tiempo real y alto throughput
On this page

De todos los parámetros que rigen el rendimiento de los consumidores de RabbitMQ, el prefetch count es el que más impacto tiene, y también el que con más frecuencia está mal configurado en producción. Hemos llegado a innumerables proyectos empresariales de RabbitMQ en los que el throughput estaba limitado, la utilización de los consumidores estaba estancada en 60%, la memoria se disparaba en los pods de los consumidores o el clúster entraba en control de flujo con cargas que debería haber absorbido sin problema; y en un porcentaje nada despreciable de esos casos, la causa raíz era un prefetch en cero, dejado en su valor predeterminado o copiado de un tutorial escrito para otra carga de trabajo.

El prefetch es engañosamente simple. Es un número entero. Pero rige la concesión fundamental entre throughput y presión de memoria en el consumidor, entre latencia y sobrecarga de acknowledgments, y entre un consumidor capaz de absorber picos y uno que no puede. En clústeres de RabbitMQ de tiempo real y alto throughput (los que sostienen plataformas de trading, pipelines de ingesta de IoT, procesadores de pagos y cualquier otro sistema donde se cuentan los mensajes por segundo y los SLA se miden en milisegundos), configurar bien el prefetch no es opcional. Es lo que separa a un clúster que escala de uno que no.

Qué hace realmente el prefetch count

A nivel de protocolo, el prefetch count es el parámetro basic.qos de AMQP 0-9-1. Le dice al broker: “no me envíes más de N mensajes sin confirmar a la vez”. Cuando un consumidor se conecta y se suscribe a una cola, el broker empieza a enviarle mensajes hasta el límite de prefetch. A medida que el consumidor confirma mensajes, el broker envía reemplazos. En cualquier momento, el buffer de mensajes en vuelo del consumidor tiene como máximo prefetch_count mensajes.

En la práctica existen tres modos de prefetch:

  • Prefetch = 0 (ilimitado). El broker envía mensajes tan rápido como puede. El consumidor almacena en buffer todo lo que el broker le envía. Parece rápido hasta que deja de serlo: la memoria del consumidor se dispara, los acknowledgments se atrasan y el sistema se vuelve impredecible bajo carga.
  • Prefetch = 1. El broker envía un mensaje, espera el ack y luego envía el siguiente. Es lo que muestran la mayoría de los tutoriales. Es desastrosamente lento para cargas de alto throughput, porque cada mensaje paga el costo completo de latencia de un viaje de ida y vuelta.
  • Prefetch = N (un valor razonable). El consumidor procesa un lote de N mensajes en vuelo, el broker se mantiene por delante del consumidor con un flujo constante de reemplazos y el throughput queda limitado por la velocidad de procesamiento del consumidor, no por el tiempo de ida y vuelta de la red.

El objetivo siempre es el tercer modo. La pregunta es cuánto debe valer N, y la respuesta depende de su carga de trabajo más de lo que la mayoría de los equipos imagina.

La visión de un experto: por dónde empezar en cargas de alto throughput

  • Prefetch = 1. Mata el throughput. Nunca va a saturar a su consumidor. Corrija esto primero, siempre.
  • Prefetch = 0 (ilimitado). Funciona bien en un entorno de pruebas. Se convierte en un incidente de producción la primera vez que el consumidor no puede seguirles el ritmo a los publicadores.
  • Prefetch = 10,000. Alguien leyó que “más alto es mejor para el throughput” y lo tomó al pie de la letra. El consumidor almacena 10,000 mensajes en buffer, los acknowledgments se atrasan, la memoria sube y, bajo carga, todo el sistema se vuelve impredecible.

“Si tienes el prefetch count en cero, significa que estás usando el ilimitado. Eso también estará bien, pero como tienes un throughput muy grande, algo que recomiendo es ponerle algo como 100, 200 o algo así”.

— Felipe Gutierrez, ingeniero sénior, AceMQ (de un proyecto de AceMQ para diagnosticar fallas de acknowledgment de consumidores en un despliegue empresarial de RabbitMQ de alto volumen)

Esta es nuestra recomendación inicial estándar para cargas de alto throughput, y tiene una razón de ingeniería concreta. Un prefetch en el rango de 100–200 le da al broker suficiente profundidad de pipeline para mantener saturado al consumidor (el consumidor nunca está esperando el siguiente mensaje) sin inundar su memoria con miles de mensajes en vuelo que todavía no procesó. Es el punto óptimo para la mayoría de las cargas de tiempo real: empezamos ahí y ajustamos hacia arriba o hacia abajo según lo que realmente indiquen las métricas.

Las respuestas equivocadas, en orden de frecuencia con que las vemos:

Por qué el prefetch importa tanto a escala

Controla la utilización de la capacidad de los consumidores

RabbitMQ reporta en la interfaz de administración una métrica de “consumer capacity” que indica qué porcentaje del tiempo el consumidor está procesando mensajes activamente frente al tiempo que pasa esperando que lleguen más. Un consumidor bien ajustado opera al 100% de capacidad: siempre está trabajando. Un consumidor con un prefetch demasiado bajo se queda en 40%, 60% u 80% de capacidad, porque pasa un tiempo medible esperando en la red su siguiente mensaje. Ese tiempo ocioso es throughput que usted pagó y no está obteniendo.

Felipe tiene una regla operativa específica para esto: si la consumer capacity cae por debajo de 100%, el consumidor no puede seguir el flujo de mensajes y hay que avisar al desarrollador. O el prefetch está mal, o el consumidor procesa demasiado lento, o necesita más instancias de consumidores. En cualquiera de esos casos, lo primero que se revisa es el prefetch.

Determina el comportamiento del control de flujo

RabbitMQ tiene un mecanismo de control de flujo que frena a los publicadores cuando los consumidores no dan abasto. Es una válvula de seguridad (evita que el broker acumule un backlog sin límite), pero también es una señal de que algo aguas arriba está desalineado. Cuando el prefetch está bien ajustado, los consumidores vacían la cola a máxima velocidad y el control de flujo rara vez se activa. Cuando el prefetch es demasiado bajo, la cola se llena bajo carga, el broker entra en control de flujo, los publicadores quedan bloqueados y cambia el perfil de latencia de todo el sistema.

Con alto throughput, la distancia entre “todo está bien” y “los productores están bloqueados” puede ser un solo valor de prefetch mal elegido.

Interactúa con el comportamiento Raft de las colas de quórum

Con las colas de quórum (quorum queues), que es lo que usan la mayoría de los despliegues empresariales de RabbitMQ en 2026, las interacciones del prefetch se vuelven todavía más determinantes. Si todavía no completó su migración a colas de quórum, este es el momento. Las colas de quórum usan consenso Raft, lo que significa que cada acknowledgment es una escritura en el log de Raft en la mayoría de los nodos. Un prefetch de 1 en una cola de quórum obliga a un viaje de ida y vuelta de Raft por cada mensaje, lo que destroza el throughput. Un prefetch de 100 o 200 permite que el broker agrupe los commits de acknowledgments contra el log de Raft, lo cual es muchísimo más eficiente.

Hemos visto cargas de trabajo duplicar o triplicar su throughput sostenido después de una pasada de ajuste del prefetch en colas de quórum. La cuenta no es sutil: menos commits de Raft por mensaje significan más mensajes por segundo.

Prefetch global vs individual: una nota histórica que sigue importando

En RabbitMQ 3.x había dos modos de prefetch distintos que las bibliotecas cliente podían configurar: global e individual. El prefetch global se aplicaba a todos los consumidores de un canal: si configuraba un prefetch global de 1,000 y tenía 5 consumidores en ese canal, en la práctica cada consumidor obtenía 200. El prefetch individual se aplicaba por consumidor, así que un prefetch de 1,000 significaba que cada consumidor podía tener 1,000 mensajes en vuelo.

En RabbitMQ 4.x, la semántica del prefetch se aclaró y simplificó, pero la concesión de fondo sigue ahí. Si su arquitectura levanta varios consumidores en un mismo canal, necesita saber si su biblioteca cliente configura el prefetch por consumidor o por canal, porque la cantidad efectiva de mensajes en vuelo es fundamentalmente distinta.

La recomendación práctica: en sistemas de producción de alto throughput, prefiera la semántica de prefetch por consumidor y un consumidor por canal. Esto le da un comportamiento de memoria y throughput predecible por consumidor, que escala de forma lineal cuando agrega instancias. También simplifica mucho la depuración de problemas de capacidad, porque el margen de rendimiento de cada consumidor es independiente.

Cómo ajustar realmente el prefetch para su carga de trabajo

No existe un valor de prefetch universalmente correcto. Lo que sí existe es una metodología que lo llevará al valor correcto para su carga de trabajo específica más rápido que adivinar.

Paso 1: empiece en 100

Para cualquier carga de RabbitMQ de alto throughput que todavía no haya medido, empiece con un prefetch de 100. Casi nunca es un error grave. Es lo bastante alto como para mantener lleno el pipeline del broker al consumidor, lo bastante bajo como para acotar la presión de memoria en el consumidor, y le da una línea base medible desde la cual ajustar.

Paso 2: mida la consumer capacity con una carga representativa

  • Si la consumer capacity está por debajo de 100%, el prefetch puede ser demasiado bajo: el consumidor está esperando mensajes.
  • Si la memoria del consumidor sube y los acknowledgments se atrasan, el prefetch puede ser demasiado alto: el consumidor almacena más de lo que puede procesar.
  • Si la capacidad está en 100% y la memoria se mantiene estable, el prefetch es correcto. No lo toque.

Haga pasar una carga representativa por la cola y observe la métrica de consumer capacity en la interfaz de administración de RabbitMQ. Observe también el uso de memoria del consumidor. Para tener visibilidad a nivel de clúster, consulte nuestra guía de monitoreo de RabbitMQ en Kubernetes. Lo que busca son tres condiciones:

Paso 3: ajuste en incrementos significativos

Si necesita subirlo, pruebe con 200 y luego con 500. No pase de 100 a 10,000: la relación entre prefetch y throughput no es lineal. Cada duplicación debería mostrar al principio una mejora medible de throughput, luego rendimientos decrecientes y, finalmente, rendimientos negativos cuando el consumidor empieza a tener problemas con su propio buffer.

Paso 4: tenga en cuenta el tamaño de los mensajes

Un prefetch de 200 con mensajes de 1KB equivale a 200KB de memoria en vuelo por consumidor. Un prefetch de 200 con mensajes de 1MB equivale a 200MB de memoria en vuelo por consumidor. Si sus mensajes son grandes (y en los pipelines de tiempo real muchas veces lo son), el prefetch debe ser más bajo que en el caso de mensajes pequeños. Calcule su memoria máxima en vuelo como prefetch_count × p99_message_size y dimensione la memoria del consumidor en consecuencia. No olvide este cálculo en entornos con tamaños de mensaje heterogéneos.

Paso 5: pruebe en los límites de falla

El valor de prefetch correcto es el que rinde bien con carga en estado estable Y durante los escenarios de recuperación. Simule la caída de un consumidor mientras la cola tiene mensajes acumulados. Cuando arranca el consumidor de reemplazo, ¿vacía el backlog de forma limpia al ritmo esperado? ¿O su configuración de prefetch lo deja sin mensajes o lo inunda? Los valores de prefetch que se ven bien en estado estable pueden comportarse mal durante un failover, que es justamente cuando más necesita que funcionen correctamente.

La trampa del tamaño de los mensajes: por qué el prefetch por sí solo no alcanza

Una de las trampas operativas más comunes que vemos en despliegues de RabbitMQ de alto throughput es tratar el prefetch como la única perilla cuando el verdadero problema es el tamaño de los mensajes. RabbitMQ es un broker de mensajería, no una base de datos, y tampoco es un sistema de transferencia de archivos.

Hemos visto despliegues de RabbitMQ en producción en los que el operador se quejaba de que el throughput estaba limitado “misteriosamente” a una fracción de la tasa esperada, y al investigar descubría que la aplicación enviaba como payload PDF de varios megabytes, clips de video o snapshots serializados de bases de datos. Ningún ajuste del prefetch resuelve eso. El broker hace lo que se le pidió: simplemente se le pidió algo que no debería hacer.

La regla de arquitectura es: mantenga pequeños los mensajes de RabbitMQ. Una revisión de arquitectura de RabbitMQ puede ayudar a identificar dónde el tamaño de los payloads está afectando su throughput. Si necesita mover un payload grande por el sistema, escríbalo en un almacenamiento de objetos y envíe una referencia a través de RabbitMQ. Los mensajes de 4KB se mueven por un clúster órdenes de magnitud más rápido que los de 4MB, incluso con la misma configuración de prefetch, porque:

  • Los mensajes más pequeños consumen menos ancho de banda de red por mensaje.
  • Los mensajes más pequeños consumen menos memoria en los buffers del broker y del consumidor.
  • Los mensajes más pequeños se persisten en disco más rápido en las colas de quórum.
  • Los mensajes más pequeños se replican más rápido entre los followers de Raft.

En sentido estricto, esto no es un problema de prefetch. Pero cualquier conversación sobre ajustar el prefetch en sistemas de tiempo real de alto throughput tiene que incluir la auditoría de tamaños, porque ajustar el prefetch en un pipeline de mensajes de 4MB es optimizar la capa equivocada.

Cuándo revisar de nuevo el prefetch

El prefetch no es un parámetro que se configura y se olvida. Revise su configuración de prefetch cuando:

  • Cambian los requisitos de throughput. Un crecimiento de 10x en el volumen de mensajes suele significar que un prefetch que estaba bien a la escala anterior ahora es incorrecto.
  • Cambia la distribución de tamaños de los mensajes. Las nuevas funciones de la aplicación que envían mensajes más grandes cambian el cálculo de memoria.
  • Migra a colas de quórum. La sobrecarga de commits de Raft cambia el valor óptimo de prefetch, normalmente hacia arriba.
  • Cambia la arquitectura de los consumidores. Pasar de N consumidores en un canal a N consumidores, cada uno en su propio canal, cambia por completo el cálculo del prefetch.
  • Ve la consumer capacity por debajo de 100% bajo carga. Es la señal más clara de que algo en su pipeline de prefetch + consumidor + broker está desalineado.
  • Ve que el control de flujo se activa con cargas que no deberían provocarlo. El control de flujo es el broker avisándole que los consumidores no dan abasto. El prefetch es uno de los primeros lugares donde mirar.

Conclusión práctica

El prefetch es el parámetro de ajuste del lado del consumidor con mayor palanca en RabbitMQ. Configurarlo mal con alto throughput se manifiesta como límites de capacidad misteriosos, un comportamiento impredecible de la memoria, eventos de control de flujo con cargas que no deberían causarlos y tickets de soporte que dicen “RabbitMQ se siente lento” sin señalar una causa concreta.

Configurarlo bien no se nota, que es exactamente lo que usted quiere: consumidores al 100% de capacidad, memoria estable, latencia acotada y un throughput que escala de forma predecible a medida que agrega instancias de consumidores.

Si hoy está poniendo en marcha una nueva carga de RabbitMQ de tiempo real y necesita un punto de partida sin tiempo para un ajuste completo: prefetch = 100, por consumidor, un consumidor por canal. Mida la consumer capacity, ajuste a partir de ahí y audite el tamaño de sus mensajes antes de tocar cualquier otro parámetro. Esa única recomendación, aplicada de forma consistente, evita gran parte de los problemas de rendimiento que nos llaman a diagnosticar.

Para las cargas que empujan los límites (cientos de miles de mensajes por segundo, SLA por debajo de 10ms, durabilidad de nivel financiero), el ajuste se vuelve más fino, y las interacciones con las colas de quórum, Raft y la arquitectura de consumidores requieren más atención. Pero el punto de partida es el mismo, y la metodología también: empiece en 100, mida, ajuste y mantenga pequeños sus mensajes.

¿Está ajustando un clúster de RabbitMQ de alto throughput y llegó a un techo?

El equipo de ingeniería de AceMQ ha ajustado clústeres de RabbitMQ que operan en los extremos: plataformas de trading, sistemas de pagos, pipelines globales del sector salud y entornos de analítica en tiempo real que se miden en cientos de miles de mensajes por segundo. El prefetch es solo una pieza del rompecabezas. Si su clúster está limitado por debajo de donde debería estar, podemos rastrear el cuello de botella (broker, consumidor, tipo de cola, red, disco) y devolverlo a un escalado lineal.

Si está construyendo una nueva carga de alto throughput y quiere acertar con la arquitectura y el ajuste desde el principio, o tiene un clúster existente que no rinde donde debería, hable con nuestro equipo sobre una evaluación de rendimiento. Ofrecemos consultoría de RabbitMQ, soporte comercial de RabbitMQ y resolución profunda de problemas de RabbitMQ para clientes empresariales en todo el mundo: es lo único que hacemos.

Prefetch count: las respuestas cortas

El prefetch count es la cantidad máxima de mensajes sin confirmar que RabbitMQ enviará a un consumidor (o a un canal) antes de detenerse y esperar los acks. Todo lo demás se desprende de ese único límite.

Por dónde empezar. Para la mayoría de las cargas de trabajo, configure el prefetch entre 10 y 30 y mida. Use 1 cuando necesite un orden estricto entre consumidores o cuando cada mensaje tarde segundos en procesarse, porque cualquier valor mayor deja trabajo estacionado en un consumidor que no puede atenderlo. Suba al rango de 100 a 300 solo cuando los consumidores sean rápidos e idempotentes y una prueba de carga haya confirmado que el host del consumidor tiene margen de memoria. Más grande no es más rápido una vez que el consumidor está saturado; solo traslada el backlog del broker al cliente.

Por qué 0 causa más problemas. Un prefetch de 0 significa ilimitado. El broker envía todos los mensajes listos al primer consumidor con un canal abierto, así que un consumidor acapara la cola mientras los demás quedan ociosos. El mismo ajuste está detrás de la mayor parte de la presión de memoria del lado del consumidor por la que nos llaman: una cola se vacía sobre un único proceso que no puede confirmar lo bastante rápido, y el proceso empieza a usar swap o lo terminan. Si una cola parece vacía pero el throughput es bajo y un consumidor está clavado al 100 por ciento de CPU, revise primero si hay un prefetch de 0.

El prefetch solo existe para consumidores con ack manual. Con auto-ack, el broker considera un mensaje confirmado en el momento en que lo envía, así que nunca queda nada pendiente que cuente contra el límite. Configurar un prefetch en un consumidor con auto-ack no tiene ningún efecto.

Las colas de quórum y los streams no son colas clásicas. Las colas de quórum respetan el prefetch, pero además llevan un contador de entregas por mensaje y aplican un delivery-limit (20 por defecto en 4.x). Un consumidor con un prefetch grande que se cae devuelve todos los mensajes sin confirmar con su contador de entregas incrementado, así que unos pocos reinicios pueden mandar a dead-letter mensajes que nunca estuvieron envenenados. Los streams son distintos otra vez. Con el protocolo de streams, el control de flujo se basa en créditos, no en prefetch. Sobre AMQP 0-9-1, un consumidor de streams debe configurar un prefetch distinto de cero y usar acks manuales, y el ack no borra nada: devuelve crédito para que el broker envíe más. Consulte colas clásicas vs colas de quórum para ver la comparación completa.

Tres razones por las que el prefetch "no funciona" en una prueba de carga. Primero, el consumidor usa auto-ack y el ajuste se ignora. Segundo, el flag global: en RabbitMQ, global=false limita a cada consumidor y global=true limita a todo el canal, y algunas bibliotecas cliente usan otro valor predeterminado o interpretan ese flag de forma distinta. Tercero, el framework del cliente aplica su propio valor predeterminado (a menudo 1, a veces 250) después de que se ejecuta su código, o en un canal distinto del que usted configuró. Verifique el valor efectivo con rabbitmqctl list_consumers en lugar de confiar en el código.

El prefetch es el patrón cinco de diez en la guía de confiabilidad de RabbitMQ y el paso siete de la guía de clustering y dimensionamiento, que cubre la mitad del lado del clúster de esta misma cuestión de throughput.

Preguntas frecuentes

¿Cuál es un buen prefetch count para RabbitMQ?

Empiece con 10 a 30 para consumidores típicos y ajuste a partir de ahí con una prueba de carga. Use 1 para tareas de larga duración o cuando importe el orden entre consumidores. Reserve 100 a 300 para consumidores rápidos e idempotentes en los que haya medido que el host del cliente tiene margen de memoria para esa cantidad de mensajes en vuelo. Nunca lo deje en 0 en producción: eso significa ilimitado, y es la causa más común de que un consumidor acapare una cola mientras los demás quedan ociosos. El número correcto es el valor más pequeño que mantiene ocupados a sus consumidores.

¿Por qué no funciona el prefetch count en mi RabbitMQ?

Tres causas explican casi todos los casos que hemos investigado. El consumidor usa auto-ack, así que el prefetch se ignora por completo. El flag global está configurado al revés de lo que usted espera, de modo que el límite se aplica por canal en lugar de por consumidor, o viceversa. O el framework del cliente aplica su propio valor predeterminado después de que se ejecuta su código, o en un canal distinto del que usted configuró. Confirme el valor efectivo con rabbitmqctl list_consumers. Si sigue comportándose mal, los 10 problemas más comunes de RabbitMQ cubren los modos de falla relacionados.

¿El prefetch count se aplica a las colas de quórum y a los streams?

Las colas de quórum (quorum queues) respetan el prefetch exactamente igual que las colas clásicas, con un agregado: cada reentrega incrementa un contador de entregas por mensaje y, cuando supera el delivery-limit, el mensaje se envía a dead-letter o se descarta. Un consumidor que se cae con un prefetch grande empuja muchos mensajes hacia ese límite a la vez, así que mantenga un prefetch moderado en las colas de quórum. Los streams sobre AMQP 0-9-1 requieren un prefetch distinto de cero y acks manuales, pero el ack solo devuelve crédito: no elimina el mensaje. Con el protocolo nativo de streams, el control de flujo se basa en créditos y el prefetch directamente no es el modelo.

¿El prefetch debe configurarse por canal o por consumidor?

Por consumidor, en casi todos los casos. En RabbitMQ, global=false (el valor predeterminado en la mayoría de los clientes) aplica el límite a cada consumidor de forma independiente, que es lo que la gente espera y lo que hace predecible el ajuste. global=true aplica un único límite compartido a todos los consumidores del canal, lo cual solo sirve cuando varios consumidores de un mismo canal necesitan compartir un presupuesto fijo de mensajes en vuelo. Si configura ambos, el broker aplica ambos. Cuando asumimos un entorno de RabbitMQ 3.8 a 4.x bajo soporte administrado, revisar este flag es una de las primeras cosas que hacemos, porque explica una cantidad sorprendente de quejas de throughput.

Scott Sternloff

Autor

Scott SternloffArquitecto empresarial sénior

Arquitecto empresarial sénior en AceMQ. Escribe aquí los contenidos técnicos: arquitectura, clustering y migraciones de RabbitMQ, Kafka y Redis.

Consulta gratuita

Que un experto revise su clúster de RabbitMQ

Ya sea que esté resolviendo un incidente en producción, planificando una migración o quiera una segunda opinión sobre su arquitectura, nuestro equipo está listo. Sin discursos de venta, solo respuestas.

Escríbanos