En esta página
La optimización en un párrafo
La optimización en un párrafo
La forma más rápida de optimizar RabbitMQ es medir primero y después avanzar desde el host hacia la aplicación. Asigne a cada nodo al menos 4 núcleos, 4 GiB de RAM y almacenamiento local rápido. Mantenga el memory watermark entre 0,4 y 0,7, configure disk_free_limit con un valor similar al del watermark y permita 50.000 descriptores de fichero o más. Haga que las conexiones y los canales sean de larga duración, separe los publicadores de los consumidores y deje de hacer polling. Ajuste el prefetch en función de la utilización medida de los consumidores. Lleve los grandes backlogs a streams y el trabajo duradero a colas de quórum (quorum queues). Compruebe la red con la fórmula de ancho de banda y divida el sistema en clústeres independientes antes de que el número de nodos llegue a dos cifras.
Mida antes de cambiar nada
La mayoría de los intentos de optimizar RabbitMQ fracasan porque el cambio se hizo antes de encontrar el cuello de botella. Ponga primero tres cosas en un gráfico: las tasas de publicación y entrega por cola, la latencia de los publisher confirms medida en la aplicación, y la CPU, la memoria, la latencia de disco y el throughput de red de cada nodo. Las propias directrices de producción de RabbitMQ lo dicen sin rodeos: hace falta monitorizar, hacer benchmarks y medir para encontrar la mejor configuración para cada entorno. Después, reproduzca la carga con PerfTest, la herramienta de pruebas de carga del equipo de RabbitMQ, para probar cada cambio con el mismo tráfico.
Compruebe los mínimos de hardware
El mínimo documentado para producción por nodo es de 4 núcleos de CPU y 4 GiB de RAM, sin ningún otro servicio de datos ni aplicación con mucha E/S en el mismo host. RabbitMQ no se diseñó para entornos de un solo núcleo. Un porcentaje sorprendente de clústeres lentos resulta estar por debajo de este mínimo o compartir host con una base de datos.
El almacenamiento importa más que antes, porque las colas de quórum y los streams están pensados para almacenamiento duradero con una latencia estable. Prefiera SSD o NVMe locales al almacenamiento conectado en red, no comparta nunca un directorio de datos entre nodos y no coloque los datos de los nodos en un sistema de ficheros distribuido: la capa de almacenamiento presupone una semántica de fsync local que esos sistemas de ficheros a menudo no respetan.
Fije el memory watermark de forma deliberada
Por defecto, un nodo deja de aceptar mensajes nuevos cuando utiliza más del 60 % de la memoria disponible (vm_memory_high_watermark.relative = 0.6). El rango recomendado va de 0,4 a 0,7. Superar 0,7 es el clásico falso ahorro: el sistema operativo y el sistema de ficheros necesitan al menos el 30 % de la memoria para la caché de páginas, y privarles de ella provoca paginación, que ralentiza todas las operaciones de disco del broker. Si los publicadores se están bloqueando, la solución casi siempre pasa por consumidores más rápidos o más nodos, no por subir el watermark.
Aumente el límite de disco libre
El valor por defecto de disk_free_limit es de 50 MB, una cifra elegida para que RabbitMQ arranque en particiones pequeñas de desarrollo. En producción es demasiado bajo: un nodo que se queda sin disco no puede completar escrituras y puede perder datos. La recomendación es fijar el límite en un valor similar al del memory watermark, de modo que un nodo con un watermark de 4 GB lleve disk_free_limit.absolute = 4G. Sobredimensione también el disco, porque las colas de quórum y los streams no siempre recuperan rápidamente el espacio de los mensajes ya consumidos.
Aumente el límite de descriptores de fichero abiertos
Cada conexión y cada cola consumen descriptores de fichero. Permita al menos 50.000 para el usuario de RabbitMQ. La regla de dimensionamiento de la documentación: tome el percentil 95 de conexiones concurrentes, multiplíquelo por dos y súmele el número de colas. Límites de hasta 500.000 apenas tienen coste y se recomiendan para producción. Un nodo que alcanza este límite deja de aceptar conexiones, lo que parece un problema de rendimiento y no lo es.
Corrija el comportamiento de conexiones y canales en las aplicaciones
El comportamiento de las aplicaciones es la mayor fuente de problemas de rendimiento de RabbitMQ, y ningún ajuste del broker lo compensa. Las reglas son pocas. Las conexiones y los canales deben ser de larga duración: abrir una conexión por mensaje es costoso y provoca una rotación de conexiones que agota los descriptores de fichero y la memoria. Use conexiones separadas para publicar y para consumir, de modo que los consumidores no queden atrapados en el control de flujo aplicado a un publicador. No fije timeouts de heartbeat inferiores a 5 segundos, ya que provocan desconexiones falsas bajo carga. Utilice la recuperación automática de conexiones de la biblioteca cliente cuando exista. Y evite el sondeo con basic.get; es intrínsecamente ineficiente frente a un consumidor suscrito.
De nuestros proyectos. En nuestro registro de tickets, 33 de 145 tickets de RabbitMQ (23%) fueron problemas de flujo de mensajes, balanceador de carga, conexiones o configuración del cliente, frente a 8 (6%) de límites de memoria, disco, CPU o descriptores de fichero (el análisis de tickets). Cuando un equipo informa de que el broker va lento, la causa suele ser un prefetch mal configurado, acknowledgements síncronos o un consumidor lento que bloquea la cabeza de una cola. En una plataforma IoT de telecomunicaciones con una gran flota de dispositivos conectados que se caía cada semana por falta de memoria, las correcciones de AceMQ incluyeron subir el prefetch de 1 a 20, añadir límites de memoria y TTL por cola y recomendar escalar horizontalmente en lugar de verticalmente (el caso).
Ajuste el prefetch y los acknowledgements
El prefetch es el ajuste del lado del consumidor que más influye en el throughput. Si es demasiado bajo, los consumidores se quedan ociosos esperando a la red; si es demasiado alto, un consumidor lento acapara mensajes mientras los demás se quedan sin trabajo, y la memoria crece con el backlog sin confirmar. Parta del tiempo de procesamiento por mensaje, mida la utilización de los consumidores y ajuste. Confirme por lotes cuando el orden lo permita.
Adapte el tipo de cola a la carga de trabajo
El tipo de cola fija el techo de rendimiento. Las colas de quórum replican y vuelcan a disco cada escritura, por lo que su throughput cae a medida que aumenta el número de réplicas; en clústeres grandes, replique en una mayoría de nodos en lugar de en todos. Los streams se diseñaron para el throughput y los grandes backlogs y consumen poca memoria del broker, a cambio de renunciar a funciones de cola como el dead-lettering. Las colas clásicas son solo para trabajo transitorio. Una cola que debe retener millones de mensajes es un stream, no una cola de quórum más grande.
Compruebe que la red soporta la carga
La documentación ofrece una regla práctica para el ancho de banda mínimo que necesita cada nodo: percentil 95 de la tasa de mensajes, por el percentil 95 del tamaño de mensaje, por un 110 % de sobrecarga del protocolo, por 8 bits. Con 20.000 mensajes por segundo y payloads de 6 KB, eso supone algo más de 1 gigabit por segundo, antes del tráfico de replicación entre nodos. TLS añade un coste de CPU apreciable tanto en el broker como en los clientes, así que inclúyalo en el benchmark en lugar de añadirlo después.
Escale el clúster de la forma correcta
Utilice un número impar de nodos para que siempre pueda identificarse una mayoría. Más nodos ayudan con el número de conexiones, siempre que un balanceador de carga las reparta. Pero no ayudan indefinidamente: todos los metadatos se replican en cada nodo y la mayoría de los cambios de metadatos son síncronos, de modo que el coste de cada declaración crece con el tamaño del clúster. La recomendación documentada para quien se acerque a un número de nodos de dos cifras es dividir el sistema en clústeres independientes.
Preguntas frecuentes
¿Cómo se optimiza el rendimiento de RabbitMQ?
Por este orden: mida las tasas de publicación y entrega, la latencia de los confirms y los recursos de los nodos; compruebe que cada nodo tiene al menos 4 núcleos, 4 GiB de RAM y discos locales rápidos; corrija el comportamiento de las aplicaciones, como la rotación de conexiones y el polling; ajuste el prefetch de los consumidores, y elija el tipo de cola adecuado. Los ajustes del broker importan menos que el comportamiento de las aplicaciones y el almacenamiento.
¿Qué valor debe tener vm_memory_high_watermark?
El valor por defecto es 0,6 y el rango recomendado va de 0,4 a 0,7. Los valores por encima de 0,7 privan de memoria a la caché de páginas del sistema operativo y suelen empeorar el rendimiento. Si los publicadores se están bloqueando, añada capacidad de consumo o nodos en lugar de subir el watermark.
¿Cuál es el disk_free_limit adecuado para producción?
El valor por defecto de 50 MB está pensado para desarrollo. Fíjelo en un valor similar al del memory high watermark (por ejemplo, 4G en un nodo con un watermark de 4 GB) y sobredimensione el disco.
¿Cuántos descriptores de fichero necesita RabbitMQ?
Al menos 50.000. Dimensiónelo como el doble del percentil 95 de conexiones concurrentes más el número de colas. Los valores de hasta 500.000 tienen poco coste y se recomiendan para producción.
¿Añadir nodos hace que RabbitMQ vaya más rápido?
Aumenta la capacidad de conexiones si un balanceador de carga reparte los clientes entre los nodos. No aumenta el throughput de una cola concreta, y el throughput de las colas de quórum cae a medida que se añaden réplicas. Los clústeres muy grandes ralentizan las operaciones de metadatos, así que, a partir de unos diez nodos, utilice clústeres separados.