Zurück zu allen Kundenbeispielen

FehlerbehebungTelekommunikation

RabbitMQ so skalieren, dass es eine große Flotte vernetzter Geräte eines weltweit führenden Telekomkonzerns trägt

Weltweit führender Telekomkonzern

Beseitigung wöchentlicher RabbitMQ-Abstürze, Optimierung für eine große Flotte vernetzter Geräte und Entwurf einer Strategie für horizontale Skalierung.

Fehlerbehebung bei Performanceproblemen

Überblick

Die IoT-Plattform des Unternehmens nutzt RabbitMQ für das Messaging einer großen Flotte vernetzter Geräte, und ein deutliches Wachstum ist geplant. Wöchentliche Out-of-Memory-Abstürze und Performance-Engpässe gefährdeten die Stabilität der Plattform und die Wachstumspläne.

Herausforderung

RabbitMQ-Knoten stürzten wöchentlich mit Out-of-Memory-Fehlern ab. Ursachen waren ein ungeeigneter Ansatz mit vertikaler Skalierung, ein zu niedriger Prefetch Count (auf 1 gesetzt) und fehlende TTL-Konfigurationen an den Queues. Langsame Consumer blockierten die Producer und lösten Kaskadenfehler aus. Das Team nutzte Classic Queues ohne Mirroring und war damit bei Knotenausfällen dem Risiko von Datenverlust ausgesetzt.

Umgebung

Kubernetes-Deployment, RabbitMQ mit einer großen Zahl an Geräteverbindungen, Consumer auf Basis von Spring Boot, geplante horizontale Skalierung mit Monitoring über Prometheus/Grafana.

Vorgehen

AceMQ führte eine mehrtägige, intensive Remediation durch – mit Review der Live-Umgebung, Konfigurationsänderungen in Echtzeit und praktischer Performance-Optimierung. Das Team analysierte Metriken, prüfte die Topologie und lieferte detaillierte Architekturempfehlungen für die Skalierung.

Lösung

  1. Empfehlung einer horizontalen Skalierungsstrategie (mehr Knoten) statt vertikaler Skalierung
  2. Erhöhung des Prefetch Counts von 1 auf 20 für einen deutlich höheren Consumer-Durchsatz
  3. Konfiguration von Lazy Queues, die durch direktes Schreiben auf die Platte das Blockieren der Producer reduzieren
  4. Einführung von Speicherlimits pro Queue und TTL-Policies, um OOM-Abstürze zu verhindern
  5. Anhebung des High Watermarks von 0.7 auf 0.9 für eine bessere Speicherauslastung
  6. Entwurf eines Migrationspfads von Classic Queues zu Quorum Queues für Hochverfügbarkeit
  7. Bereitstellung eines Excel-basierten Rechners für Serveranforderungen zur Kapazitätsplanung

Resultat

Der Kunde erhielt Konfigurationsänderungen und eine Skalierungs-Roadmap, die darauf abzielen, die wiederkehrenden RabbitMQ-Abstürze zu beenden und den Consumer-Durchsatz zu verbessern, und verfügt über einen klaren Weg für die wachsende Zahl an Geräten.

Technologien

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

Haben Sie ein Produktionsproblem mit RabbitMQ?

Die Senior Engineers von AceMQ für RabbitMQ haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.