L'essentiel de ce qui circule sur les limites de RabbitMQ était exact vers 2015 et n'a pas été mis à jour depuis. C'est plus grave qu'il n'y paraît, car ces affirmations sont reprises dans des articles comparatifs, reprises à nouveau dans des architecture decision records, et finissent par décider de vraies dépenses d'infrastructure.
Rien de ce qui suit ne prétend que RabbitMQ est toujours la bonne réponse. Nous exploitons RabbitMQ et Kafka en production, et certaines charges relèvent clairement de Kafka. Il s'agit de choisir sur la base des faits actuels plutôt que d'idées héritées.
1. « Kafka pour le streaming, RabbitMQ pour les files d'attente »
C'était une vraie bonne règle empirique. C'est aujourd'hui l'affirmation la plus trompeuse que l'on puisse faire sur l'un ou l'autre système.
RabbitMQ dispose des streams depuis la 3.9 : un log persistant en ajout seul, rejouable, avec des lectures non destructives et des offsets suivis par les consommateurs. Kafka a ajouté les share groups, qui lui donnent une consommation de type file d'attente où plusieurs consommateurs lisent un topic sans affectation exclusive des partitions. Les deux systèmes couvrent désormais les deux usages.
Cela ne les rend pas interchangeables. Cela signifie que la question n'est plus de savoir lequel sait le faire, mais lequel le fait bien sous charge, et à quel coût opérationnel, une question plus difficile et plus utile. Quiconque commence encore par l'ancien partage répond à une question d'il y a dix ans.
2. « RabbitMQ ne tient pas les gros débits »
Les streams RabbitMQ atteignent plusieurs millions de messages par seconde sur un matériel comparable, soit la même catégorie que Kafka. Les architectures ont délibérément convergé : regroupement en chunks, un seul format binaire du producteur jusqu'au consommateur en passant par le disque, lectures zero-copy via sendfile, page cache plutôt que heap applicatif.
Les benchmarks qui montrent encore RabbitMQ avec un ordre de grandeur de retard mesurent presque toujours des files classiques face à des topics Kafka, c'est-à-dire qu'ils comparent un mécanisme de répartition du travail à un log.
La version honnête de cette inquiétude : une quorum queue unique plafonne autour de 80 000 messages par seconde avec réplication et fsync, et elle n'est pas shardée : on ne peut pas répartir une file sur plusieurs nœuds comme un topic Kafka se répartit sur des partitions. Le débit agrégé sur de nombreuses files passe très bien à l'échelle. Mais si vous avez réellement besoin de faire passer un flux unique par une seule destination plus vite que cela, le partitionnement de Kafka l'emporte. C'est une vraie limite, et ce n'est pas celle que décrit l'idée reçue.
3. « RabbitMQ consomme beaucoup de RAM parce qu'il garde les messages en mémoire »
C'était une description juste de l'ancien comportement des files classiques, et cela lui a valu une réputation durable de sensibilité à la mémoire.
Les streams s'appuient sur le page cache du système d'exploitation au lieu de conserver les messages dans le heap de l'application, comme Kafka. Les quorum queues écrivent dans un write-ahead log partagé. La gestion de la mémoire fait partie des domaines qui ont le plus changé entre RabbitMQ 3.x et 4.x.
La nuance à retenir : une quorum queue consomme plus de mémoire par file qu'une file classique, car elle porte un état Raft. Si vous exploitez des milliers de petites files et les convertissez toutes d'un coup, c'est un vrai sujet de mémoire, que nous traitons dans files classiques ou quorum queues. C'est une question de planification de migration, pas un problème général de mémoire.
4. « RabbitMQ supprime les messages dès qu'ils sont lus »
Vrai pour les files classiques et les quorum queues, et c'est le bon comportement pour elles : la lecture est destructive parce qu'une file de travail doit confier chaque tâche à un seul worker.
Les streams fonctionnent à l'inverse. La lecture est non destructive. Les consommateurs se positionnent sur un offset et lisent vers l'avant, les données restent disponibles, et dix applications indépendantes peuvent chacune lire tous les messages et les rejouer depuis le début chaque fois qu'elles en ont besoin.
C'est l'idée fausse que nous corrigeons le plus souvent, et elle a des conséquences concrètes : des équipes concluent qu'il leur faut Kafka pour conserver un historique d'événements alors que le broker qu'elles exploitent déjà le fait. Si vous voulez relire des messages depuis une file, c'est un stream qu'il vous faut.
5. « Seul Kafka offre un traitement exactly-once »
Mieux vaut être précis ici, car la terminologie est à l'origine de la moitié de la confusion. Une livraison réellement exactly-once est impossible dans un système distribué. Ce que proposent les deux systèmes se décrit mieux comme effectively-once : le résultat n'est appliqué qu'une fois, même si la livraison a lieu plusieurs fois.
Kafka l'offre pour les boucles lecture-traitement-écriture : consommer depuis une partition, traiter, produire vers une autre, le tout appliqué une seule fois. Les streams RabbitMQ peuvent fournir la même garantie pour des pipelines équivalents.
Ce qui fait la différence, ce n'est donc pas la garantie, mais l'écosystème qui l'entoure : Kafka Streams vous offre jointures, fenêtrage et agrégations sous forme de bibliothèque, et cet écart d'outillage est réel et justifie de choisir Kafka. La garantie elle-même n'est pas exclusive.
6. « Erlang est un handicap »
La forme habituelle de cet argument : personne dans l'équipe ne connaît Erlang, donc le runtime est un risque.
Pour un middleware de messagerie en particulier, le runtime BEAM est plutôt un avantage. Il a été conçu pour des systèmes télécoms toujours disponibles et apporte à RabbitMQ une isolation des pannes qui compte en production : une file ou une connexion qui plante n'emporte que son propre processus léger, pendant que le reste du nœud continue de tourner. Nous avons vu des incidents où une seule file plantait en boucle de façon isolée sans que rien d'autre dans le système ne soit affecté ; sur un runtime dépourvu de cette propriété, le même profil de panne devient un problème à l'échelle du nœud.
Il permet aussi une très forte concurrence sans verrouillage au niveau applicatif, ce qui explique que RabbitMQ gère bien un grand nombre de connexions MQTT. La JVM est un excellent socle serveur généraliste ; BEAM est spécialisé précisément pour ce type de problème.
La préoccupation légitime derrière cette idée reçue est le recrutement et la familiarité, pas la qualité du runtime. Un débogage approfondi de RabbitMQ implique parfois de lire de l'Erlang, et cette compétence est plus rare que celle de la JVM. C'est une vraie raison de souscrire un contrat de support, pas une raison d'éviter le broker.
Ce que RabbitMQ fait vraiment bien
Démonter les idées reçues ne fait que la moitié du travail. Voici les arguments en faveur de RabbitMQ, que les mythes ont tendance à éclipser.
RabbitMQ est avant tout un broker de messages. Sa mission première est de faire circuler des unités de travail distinctes entre applications, et il excelle dans les aspects de cette mission qu'il est fastidieux de développer soi-même : TTL par message, niveaux de priorité stricts, routage dead-letter, nouvelles tentatives différées et acquittement suivi par le broker plutôt que dans votre code. N'importe quelle file d'attente de messages sait transporter des octets. Ce sont ces fonctionnalités qui évitent qu'une file d'attente de tâches ne se transforme en projet de systèmes distribués.
Le routage est assuré par le broker. Les exchanges et les bindings déterminent la destination de chaque message, et ils sont reconfigurables à chaud. Ajouter un consommateur à un flux existant relève d'un changement de configuration, pas d'une modification de code suivie d'un redéploiement, ce qui compte énormément dès que plusieurs cas d'usage partagent un même système de messagerie. Nous détaillons ce point dans RabbitMQ vs Kafka.
Il parle plusieurs protocoles. Un seul cluster RabbitMQ prend en charge AMQP 1.0, AMQP 0-9-1, MQTT, STOMP et JMS : objets IoT, applications Java et microservices peuvent ainsi partager un même broker, au lieu d'un broker assorti d'une série de passerelles. Pour un parc hétérogène, c'est une réduction réelle du nombre de composants.
Il passe à l'échelle dans la direction dont la plupart des entreprises ont réellement besoin. Non pas un unique flux de données gigantesque, mais des milliers de files d'attente peu coûteuses, avec une isolation par client grâce aux virtual hosts. C'est la physionomie de la plupart des parcs de messagerie réels, et c'est précisément celle que Kafka gère le moins bien.
Utilisez RabbitMQ quand les messages sont des tâches à traiter. Utilisez Kafka quand les messages constituent un journal. La plupart des organisations ont les deux besoins, et c'est pourquoi faire tourner les deux côte à côte est une architecture légitime, et non un aveu d'indécision.
Ce qui est vraiment vrai
Écarter les mauvaises raisons laisse de la place aux vraies. Voici les raisons actuelles et légitimes de préférer Kafka à RabbitMQ :
Le stockage hiérarchisé. Déporter les anciens segments vers du stockage objet rend économique une rétention sur plusieurs années. RabbitMQ n'a pas d'équivalent.
La log compaction. La conservation de la dernière valeur par clé est native dans Kafka.
L'écosystème de stream processing. Kafka Streams et ses connecteurs sont nettement plus matures.
Un flux unique extrêmement chargé. Le partitionnement sharde un topic ; une quorum queue n'est pas shardée.
Ces quatre points méritent débat. Les six précédents, non.
Si vous devez trancher pour une charge réelle et souhaitez une évaluation fondée sur les faits actuels, parlez-en à AceMQ. Nous vous dirons tout aussi volontiers que la réponse est Kafka.
FAQ
RabbitMQ est-il lent par rapport à Kafka ?
Pas pour le streaming. Les streams RabbitMQ atteignent plusieurs millions de messages par seconde, un niveau comparable à Kafka, parce que les architectures ont convergé vers les mêmes techniques. La vraie limite est celle d'une quorum queue unique, autour de 80 000 messages par seconde avec réplication et fsync, parce qu'elle n'est pas shardée : une limite par destination, pas à l'échelle du système.
Pourquoi déconseille-t-on parfois RabbitMQ ?
La plupart des arguments qui circulent ont dix ans de retard : RabbitMQ ne tiendrait pas le débit, garderait tout en mémoire ou supprimerait les messages dès leur lecture. Les raisons légitimes actuelles sont précises : stockage hiérarchisé, log compaction, écosystème de stream processing mature, ou besoin de faire passer un flux unique au-delà de ce qu'absorbe une file non shardée.
RabbitMQ garde-t-il encore tous les messages en RAM ?
Non. Les streams s'appuient sur le page cache du système d'exploitation plutôt que sur le heap de l'application, comme Kafka, et les quorum queues écrivent dans un write-ahead log partagé. La gestion de la mémoire a profondément changé entre RabbitMQ 3.x et 4.x.
RabbitMQ supprime-t-il les messages dès qu'ils sont lus ?
Les files classiques et les quorum queues, oui : une lecture destructive est le bon comportement pour la répartition du travail. Les streams, non : la lecture est non destructive, les consommateurs suivent leur propre offset, et de nombreux consommateurs indépendants peuvent lire le même historique et le rejouer depuis le début.
Kafka est-il le seul à offrir un traitement exactly-once ?
Non. Le terme juste, dans les deux systèmes, est effectively-once. Kafka l'offre pour les boucles lecture-traitement-écriture entre partitions ; les streams RabbitMQ fournissent la même garantie pour des pipelines équivalents. Le vrai avantage de Kafka réside dans l'outillage de stream processing qui l'entoure, pas dans la garantie.
Erlang est-il un handicap pour RabbitMQ ?
C'est plutôt l'inverse. Le runtime BEAM est conçu pour des systèmes toujours disponibles et apporte une isolation des pannes qui compte en production : une file ou une connexion qui plante n'emporte que son propre processus, pas le nœud. Il permet aussi une forte concurrence sans verrouillage au niveau applicatif. Le vrai sujet, c'est le recrutement et la familiarité, pas la qualité du runtime.
Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.