Überblick
Die IoT-Plattform des Unternehmens nutzt RabbitMQ für das Messaging einer großen Flotte vernetzter Geräte, und ein deutliches Wachstum ist geplant. Wöchentliche Out-of-Memory-Abstürze und Performance-Engpässe gefährdeten die Stabilität der Plattform und die Wachstumspläne.
Herausforderung
RabbitMQ-Knoten stürzten wöchentlich mit Out-of-Memory-Fehlern ab. Ursachen waren ein ungeeigneter Ansatz mit vertikaler Skalierung, ein zu niedriger Prefetch Count (auf 1 gesetzt) und fehlende TTL-Konfigurationen an den Queues. Langsame Consumer blockierten die Producer und lösten Kaskadenfehler aus. Das Team nutzte Classic Queues ohne Mirroring und war damit bei Knotenausfällen dem Risiko von Datenverlust ausgesetzt.
Umgebung
Kubernetes-Deployment, RabbitMQ mit einer großen Zahl an Geräteverbindungen, Consumer auf Basis von Spring Boot, geplante horizontale Skalierung mit Monitoring über Prometheus/Grafana.
Vorgehen
AceMQ führte eine mehrtägige, intensive Remediation durch – mit Review der Live-Umgebung, Konfigurationsänderungen in Echtzeit und praktischer Performance-Optimierung. Das Team analysierte Metriken, prüfte die Topologie und lieferte detaillierte Architekturempfehlungen für die Skalierung.
Lösung
- Empfehlung einer horizontalen Skalierungsstrategie (mehr Knoten) statt vertikaler Skalierung
- Erhöhung des Prefetch Counts von 1 auf 20 für einen deutlich höheren Consumer-Durchsatz
- Konfiguration von Lazy Queues, die durch direktes Schreiben auf die Platte das Blockieren der Producer reduzieren
- Einführung von Speicherlimits pro Queue und TTL-Policies, um OOM-Abstürze zu verhindern
- Anhebung des High Watermarks von 0.7 auf 0.9 für eine bessere Speicherauslastung
- Entwurf eines Migrationspfads von Classic Queues zu Quorum Queues für Hochverfügbarkeit
- Bereitstellung eines Excel-basierten Rechners für Serveranforderungen zur Kapazitätsplanung
Resultat
Der Kunde erhielt Konfigurationsänderungen und eine Skalierungs-Roadmap, die darauf abzielen, die wiederkehrenden RabbitMQ-Abstürze zu beenden und den Consumer-Durchsatz zu verbessern, und verfügt über einen klaren Weg für die wachsende Zahl an Geräten.