Retour à tous les cas d'usage

RemédiationTélécommunications

Faire passer RabbitMQ à l'échelle d'un grand parc d'objets connectés pour un leader mondial des télécommunications

Leader mondial des télécommunications

Résolution de crashs RabbitMQ hebdomadaires, optimisation pour un grand parc d'objets connectés et conception d'une stratégie de mise à l'échelle horizontale.

Dépannage des performances

Présentation

La plateforme IoT de l'entreprise s'appuie sur RabbitMQ pour gérer la messagerie d'un grand parc d'objets connectés, avec des projets de forte croissance. Des crashs hebdomadaires par manque de mémoire et des goulets d'étranglement de performances menaçaient la stabilité de la plateforme et ses projets de croissance.

Défi

Les nœuds RabbitMQ plantaient chaque semaine à cause d'erreurs de mémoire insuffisante, dues à une approche de mise à l'échelle verticale inadaptée, à des prefetch counts trop bas (fixés à 1) et à l'absence de configuration de TTL sur les files d'attente. Le blocage des producteurs par des consommateurs lents provoquait des défaillances en cascade. L'équipe utilisait des files classiques sans mirroring, ce qui l'exposait à des pertes de données en cas de défaillance d'un nœud.

Environnement

Déploiement Kubernetes, RabbitMQ gérant un grand nombre de connexions d'objets, consommateurs Spring Boot, projet de mise à l'échelle horizontale avec supervision Prometheus/Grafana.

Approche

AceMQ a mené une remédiation intensive sur plusieurs jours, avec une revue de l'environnement en direct, des modifications de configuration en temps réel et une optimisation concrète des performances. L'équipe a analysé les métriques, examiné la topologie et fourni des recommandations d'architecture détaillées pour la mise à l'échelle.

Solution

  1. Recommandation d'une stratégie de mise à l'échelle horizontale (plus de nœuds) plutôt que verticale
  2. Prefetch count porté de 1 à 20 pour améliorer considérablement le débit des consommateurs
  3. Configuration de lazy queues pour réduire le blocage des producteurs grâce à l'écriture directe sur disque
  4. Mise en place de limites mémoire par file d'attente et de politiques de TTL pour prévenir les crashs OOM
  5. Relèvement du high water mark de 0,7 à 0,9 pour une meilleure utilisation de la mémoire
  6. Conception d'un chemin de migration des files classiques vers les quorum queues pour la haute disponibilité
  7. Fourniture d'un calculateur Excel des besoins en serveurs pour la planification de capacité

Résultat obtenu

Le client a reçu des modifications de configuration et une feuille de route de mise à l'échelle visant à mettre fin aux crashs RabbitMQ récurrents et à améliorer le débit de ses consommateurs, et dispose d'une voie claire pour accompagner la croissance du nombre d'objets.

Technologies

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

Confronté à un incident de production RabbitMQ ?

Les ingénieurs RabbitMQ seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.