BlogRabbitMQ

Pourquoi ne pas utiliser RabbitMQ ? Vraies limites et mythes sur Kafka

Scott Sternloff

Par Scott Sternloff, Architecte d’entreprise senior

LinkedIn · Mis à jour le · Lecture : 10 min

Pourquoi ne pas utiliser RabbitMQ ? Vraies limites et mythes sur Kafka
Sur cette page

N'utilisez pas RabbitMQ lorsque votre charge relève du streaming d'événements à fort volume, lorsque les consommateurs doivent rejouer l'historique, ou lorsque du traitement de flux et de l'analytique temps réel se trouvent en aval. Apache Kafka est conçu pour ces usages ; un broker de messages généraliste ne l'est pas, et aucun réglage ne comblera cet écart. La plupart des autres objections que vous entendrez (qu'il serait dépassé, lent ou incapable de passer à l'échelle) sont soit déjà corrigées, soit une mauvaise lecture d'un compromis de conception délibéré.

Les deux moitiés de cette réponse comptent. Il existe de vraies raisons de ne pas l'utiliser, et il existe des mythes répétés jusqu'à ce que des équipes se lancent dans une migration coûteuse dont elles n'avaient pas besoin. La distinction ci-dessous est celle que ferait un ingénieur ayant exploité les deux en production.

Les vraies raisons de ne pas choisir RabbitMQ

  • Streaming d'événements à très haut débit. Il gère parfaitement de grands volumes de messages, mais chaque message RabbitMQ porte un état côté serveur que le broker doit suivre : delivery tags, acquittements, compteurs de nouvelle livraison, entrées d'index. Cette comptabilité est ce qui rend un broker de messages généraliste utile, et c'est aussi ce qui plafonne le débit soutenu. Lorsqu'un seul flux doit absorber des millions de messages par seconde, le journal en ajout seul (append-only) de Kafka l'emporte par construction, car il regroupe les écritures en lots, écrit séquentiellement et reporte presque tout l'état propre à chaque consommateur sur le consommateur lui-même.
  • Rejeu d'événements et rétention du journal. Les messages sont supprimés une fois acquittés, et les files d'attente ne conservent les messages que jusqu'à ce qu'un consommateur les confirme. Kafka conserve les enregistrements pendant une période de rétention définie, qu'ils aient été consommés ou non : un nouveau service peut ainsi revenir à l'offset zéro et reconstruire sa propre vue de l'historique. Si votre architecture repose sur le rejeu (retraitement après un bug, amorçage d'un nouveau consommateur à partir du journal complet des événements, ou event sourcing), Kafka est la meilleure réponse. La fonctionnalité stream de RabbitMQ, ajoutée en 3.9, offre bien un journal en ajout seul (append-only) rejouable avec une période de rétention, et c'est une fonctionnalité réellement bonne ; l'écosystème qui l'entoure est simplement beaucoup plus restreint.
  • Traitement de flux. Kafka Streams, ksqlDB et Flink fournissent nativement des jointures fenêtrées, des agrégations et des transformations stateful sur un flux de données. Aucun équivalent n'existe côté files d'attente, et en construire un soi-même est un chantier dans lequel personne ne devrait s'engager.
  • Analytique et pipelines de données. Kafka Connect existe pour déverser les topics Kafka dans des entrepôts, des data lakes et des index de recherche par configuration plutôt que par code. Alimenter une plateforme analytique via une file d'attente de messages implique d'écrire et d'exploiter ces sinks vous-même.
  • Pression du cycle de vie des versions. Cette raison est opérationnelle plutôt qu'architecturale, et c'est une vraie raison pour laquelle des équipes reconsidèrent leur choix. Ses séries de versions bénéficient de fenêtres de support communautaire relativement courtes, et chaque mise à niveau majeure (le passage aux quorum queues, le metadata store Khepri, les versions minimales d'Erlang/OTP) constitue un véritable projet. Les équipes bloquées sur une version en fin de vie (EOL) budgètent cette mise à niveau ou mettent en place un support LTS étendu pour RabbitMQ pour rester à jour des correctifs le temps de planifier. Ce qui n'est pas une bonne raison, c'est d'abandonner un broker qui fonctionne parce qu'une mise à niveau a été trop longtemps repoussée.

Kafka ou RabbitMQ : la différence d'architecture

Presque toutes les différences pratiques entre les deux découlent d'une seule décision : RabbitMQ est un broker de messages qui route puis oublie, et Kafka est une plateforme de streaming d'événements bâtie sur un journal distribué qui stocke et permet de relire.

RabbitMQ utilise des exchanges et des bindings. Les producteurs envoient les messages à un exchange avec une clé de routage, et l'exchange décide quelles files d'attente en reçoivent une copie : correspondance direct, topic, fanout ou par en-têtes. Cette indirection explique pourquoi le routage complexe est simple : une seule publication peut faire du fan-out vers six services, et vous modifiez qui reçoit quoi en éditant des bindings, pas du code. Il implémente l'Advanced Message Queuing Protocol et, depuis la 4.0, parle nativement AMQP 1.0 aux côtés de MQTT et STOMP, ce qui en fait un bus de messages pratique pour la communication entre applications qui ne partagent pas la même stack.

Kafka n'a pas de couche de routage. Les producteurs écrivent dans une partition d'un topic, généralement choisie par hachage d'une clé, et chaque consommateur d'un groupe possède un sous-ensemble de partitions. Kafka ne prend en charge ni sélection par message, ni acquittement sélectif, ni priorité ; les consommateurs filtrent eux-mêmes. En contrepartie, vous obtenez l'ordre par partition, un cluster scalable horizontalement que vous agrandissez en ajoutant des brokers, et une rétention indépendante de la consommation.

La livraison diffère aussi. Côté files d'attente, on utilise un modèle push avec une fenêtre de prefetch : le broker pousse les messages vers les consommateurs et attend un ack, et il peut les remettre en file d'attente, les envoyer en dead-letter ou les différer. Kafka utilise un modèle pull, où les consommateurs récupèrent des lots et committent des offsets. Le push avec ack par message offre un contrôle fin sur chaque unité de travail. Le pull avec offsets offre débit et rejeu. Aucun des deux n'est un défaut.

RabbitMQ est-il dépassé ?

Non. C'est l'un des brokers les plus activement développés de sa catégorie, et l'idée qu'il serait « dépassé » reflète généralement une connaissance du broker tel qu'il était vers 2018.

Les quorum queues ont remplacé les files classiques en miroir par une réplication fondée sur Raft, au comportement prévisible en cas de partition réseau et de défaillance d'un nœud, et elles sont désormais la recommandation par défaut pour la haute disponibilité (HA). Les streams ont apporté un stockage structuré en journal et rejouable. La version 4.0 a refondu le metadata store autour de Khepri pour une reprise de cluster plus fiable, et supprimé des comportements historiques source de mauvaises surprises en exploitation. Le développement se poursuit sous Broadcom, avec un rythme de publication régulier.

Ce qu'il est juste de dire, c'est que la mise à niveau n'est pas gratuite, et qu'un cluster utilisant encore la réplication classique en miroir sur une ancienne version porte un risque réel. C'est un problème d'exploitation, pas la preuve que la technologie stagne.

RabbitMQ est-il plus lent que Kafka ?

Il n'est pas lent. Il est optimisé pour autre chose.

En latence de bout en bout sur un message unique, c'est souvent le plus rapide des deux : les messages sont livrés en quelques millisecondes, publiés et routés sans fenêtre de regroupement à attendre. En débit agrégé sur un topic, Kafka l'emporte nettement, car les écritures séquentielles, les gros lots et l'absence d'état par message dans le broker sont exactement ce dont a besoin une plateforme de streaming haute performance.

Un serveur RabbitMQ bien dimensionné soutient des dizaines de milliers de messages par seconde, et un cluster va plus loin ; les quorum queues coûtent du débit par rapport au type classique, en échange de la sûreté. Les clusters Kafka tournent couramment un ordre de grandeur au-dessus. Si votre besoin réel est de quelques dizaines de milliers de messages par seconde avec un fan-out riche, le chiffre de débit mis en avant ne vous concerne pas. S'il s'agit d'un déluge de télémétrie, c'est le seul chiffre qui compte.

La limite de performance à connaître est la profondeur de file d'attente. Le broker est conçu pour vider ses files, pas pour accumuler. Lorsque les consommateurs prennent du retard et que le serveur doit mettre des messages en file d'attente par millions, la pression mémoire et disque monte, le contrôle de flux s'enclenche et les producteurs ralentissent. Kafka considère un gros backlog comme normal, car un backlog n'est qu'un offset pas encore atteint. Tout système dont les consommateurs accusent régulièrement des heures de retard devrait reposer sur un journal, pas sur une file d'attente.

Quand RabbitMQ est le bon choix

Il convient mieux lorsque l'unité de travail est une tâche plutôt qu'un événement :

  • Traitement asynchrone et files de tâches : traitement d'images, génération de PDF, envoi d'e-mails, tout cas où un worker prend un élément, effectue un vrai travail et l'acquitte.
  • Routage complexe : une publication, de nombreux abonnés sélectifs, déterminés par clé de routage ou en-têtes plutôt que par filtrage côté consommateur.
  • Contrôle par message : files prioritaires, TTL par message, livraison différée et exchanges dead-letter qui isolent les messages empoisonnés sans bloquer la file d'attente.
  • Trafic de commandes entre microservices : le request/reply sur une file d'attente de messages, avec adresse reply-to et correlation id, est un cas d'usage courant que le broker gère proprement et que Kafka ne gère pas.
  • Passerelle entre protocoles : appareils MQTT, clients STOMP et clients applicatifs modernes atteignant tous le même broker de messages durable.

Ce sont les principaux cas d'usage, et ils couvrent une large part de ce dont une architecture microservices a réellement besoin. Les services RabbitMQ entreprise d'AceMQ existent parce que la plupart de ces systèmes tournent encore dessus, pour de bonnes raisons.

Quand se passer complètement d'une file d'attente de messages

Parfois, la bonne réponse n'est aucun des deux brokers. Toutes les charges n'ont pas besoin d'une conception orientée événements : n'introduisez pas de système de messagerie quand l'appelant a besoin d'une réponse pour continuer. C'est un appel d'API synchrone, et l'envelopper dans une file d'attente ajoute de la latence et des modes de défaillance sans apporter de découplage. Passez-vous-en quand un seul service maîtrise le travail de bout en bout, quand une table en base ou une tâche planifiée suffirait, et quand le volume total est si faible qu'exploiter un broker en cluster demande plus d'attention que le problème n'en mérite. Les files d'attente de messages vous apportent découplage, mise en tampon et nouvelles tentatives. Si vous n'avez besoin d'aucun des trois, vous payez une infrastructure qu'il faudra quand même corriger à 2 h du matin.

Alternatives à RabbitMQ

Kafka est l'alternative évidente pour le streaming d'événements, mais ce n'est pas la seule. Redis Streams convient aux traitements à faible latence lorsque perdre une partie de l'historique est acceptable et que vous exploitez déjà Redis. ActiveMQ reste le choix pragmatique pour les parcs Java centrés sur JMS. Apache Pulsar combine files d'attente et streaming avec stockage hiérarchisé (tiered storage) et multi-tenance, au prix d'une exploitation plus complexe. NATS est excellent quand vous voulez quelque chose de léger et rapide. Les services de cloud managé (SQS, Service Bus, Pub/Sub) suppriment la charge d'exploitation et ajoutent une dépendance fournisseur (vendor lock-in).

Erreurs fréquentes dans le choix entre Kafka et RabbitMQ

L'erreur la plus fréquente consiste à choisir sur des benchmarks plutôt que sur la charge. Les chiffres de débit publiés décrivent un test que personne n'exécute en production ; vos schémas de livraison, la taille de vos messages et le comportement réel de vos producteurs et consommateurs comptent bien davantage.

La deuxième consiste à supposer qu'un seul broker doit tout servir. Bien des systèmes matures exploitent les deux : RabbitMQ pour les commandes et la distribution de tâches, Kafka pour le journal d'événements et l'analytique. C'est une conception système raisonnable, pas une incapacité à trancher.

La troisième consiste à sous-estimer le coût d'exploitation. Bien exploiter Kafka implique le dimensionnement des partitions, le réglage des groupes de consommateurs et un comportement de rééquilibrage auxquels vous n'aviez pas à penser auparavant. Quitter un broker que votre équipe connaît pour résoudre un problème que vous n'avez pas revient généralement à échanger une contrainte familière contre une contrainte inconnue.

AceMQ assure le support de RabbitMQ, Kafka, Redis, ActiveMQ, Pulsar et 40 autres plateformes pour plus de 160 clients grands comptes dans 26 pays, avec 11 experts seniors et des objectifs de réponse à partir de 15 minutes, selon le plan. En tant que seul partenaire MSP RabbitMQ désigné par Broadcom, nous aurions toutes les raisons de le recommander, et pourtant nous orientons régulièrement nos clients vers Kafka. Le choix entre Kafka et RabbitMQ dépend de la charge, et mieux vaut obtenir cet avis de quelqu'un qui exploite les deux. Si vous restez sur RabbitMQ et que l'objection est la charge d'exploitation, les services managés RabbitMQ d'AceMQ prennent l'astreinte à votre place.

Questions fréquentes

RabbitMQ est-il dépassé ?

Non. Il reste activement développé et a profondément évolué ces dernières années. Les quorum queues ont remplacé les files classiques en miroir par un modèle de réplication fondé sur Raft, au comportement prévisible lors des pannes de nœuds ; les streams ont ajouté un stockage de type journal rejouable ; et la version 4.0 a introduit la prise en charge native d'AMQP 1.0 et le magasin de métadonnées Khepri. L'impression d'obsolescence vient généralement d'équipes qui exploitent des versions vieilles de plusieurs années. Rester à jour relève de la discipline de mise à niveau, pas d'un projet qui aurait cessé d'avancer.

RabbitMQ est-il plus lent que Kafka ?

Tout dépend de ce que l'on mesure. Pour la latence de bout en bout d'un message individuel, RabbitMQ est souvent plus rapide, car il livre immédiatement au lieu d'attendre qu'un lot soit rempli. Pour le débit soutenu sur un seul topic, Kafka est nettement plus rapide, car sa conception en journal append-only regroupe les écritures de façon séquentielle et ne conserve presque aucun état par message sur le broker. RabbitMQ traite des dizaines de milliers de messages par seconde et par serveur ; Kafka, un ordre de grandeur de plus. Aucun de ces résultats n'est un défaut : les deux systèmes ont été optimisés pour des objectifs différents.

Pourquoi choisir Kafka plutôt que RabbitMQ ?

Choisissez Kafka si vous avez besoin de streaming d'événements à très fort volume, de rejouer des messages sur une fenêtre de rétention, d'un ordre strict au sein de chaque partition ou de traitements de flux et d'analytique en aval. Kafka conserve les messages pendant une durée configurée, qu'ils aient été consommés ou non : plusieurs consommateurs indépendants peuvent donc lire le même topic à leur rythme, et de nouveaux consommateurs peuvent repartir du début. Kafka dispose aussi d'un écosystème de connecteurs mature pour alimenter entrepôts et lacs de données. Si aucun de ces besoins ne s'applique, sa charge d'exploitation est difficile à justifier.

Quand choisir RabbitMQ pour un projet ?

Choisissez RabbitMQ lorsque l'unité de travail est une tâche plutôt qu'un événement : traitement de jobs en arrière-plan, requête/réponse entre services, et charges de travail qui exigent un acquittement par message, des priorités, une livraison différée ou la gestion des dead letters. Son modèle d'exchanges et de bindings fait du routage complexe une affaire de configuration plutôt que de code : une seule publication peut être distribuée de façon sélective à de nombreux consommateurs. Il parle aussi plusieurs protocoles de messagerie, ce qui aide lorsque les clients ne partagent pas la même stack. Pour la plupart des travaux d'intégration applicative, c'est l'option la plus simple et la moins latente.

Quelles sont les alternatives à RabbitMQ ?

Kafka est la principale alternative pour le streaming d'événements et la rétention de journaux. Redis Streams fonctionne bien pour une messagerie à faible latence quand une durabilité complète n'est pas requise, ActiveMQ convient aux environnements Java fondés sur JMS, Apache Pulsar combine files d'attente et streaming avec un stockage hiérarchisé, et NATS est une option légère pour une messagerie simple et très rapide. Les services cloud managés comme Amazon SQS, Azure Service Bus et Google Pub/Sub suppriment la charge d'exploitation en échange d'une dépendance au fournisseur. La bonne alternative dépend de ce dont vous avez besoin : des règles de livraison riches, le rejeu, ou simplement moins d'infrastructure à exploiter.

Scott Sternloff

Auteur

Scott SternloffArchitecte d’entreprise senior

Architecte d’entreprise senior chez AceMQ. Il signe ici les contenus techniques : architecture RabbitMQ, Kafka et Redis, clustering et migrations.

Consultation gratuite

Un regard expert sur votre cluster RabbitMQ

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire