Überblick
Wenn ein CloudHub-Worker unter Speicherdruck neu startet, meldet die Plattform, dass es passiert ist. Sie sagt Ihnen nicht, welcher Flow, welcher Object Store oder welches Connector-Leck die Ursache war. Diese Analyse findet auf Anwendungsseite statt, und genau dort arbeitet AceMQ – wir tunen und debuggen, was Kunden auf MuleSoft betreiben; MuleSoft selbst betreiben wir nicht.
Herausforderung
Worker starteten mehrmals täglich neu und verloren dabei Nachrichten, die gerade in Verarbeitung waren. Die Anwendung nutzte einen In-Memory Object Store für Deduplizierungs-Keys ohne Ablaufzeit, hielt gecachte Lookup-Daten vor, die unbegrenzt wuchsen, und hatte eine Connector-Konfiguration, die pro Request eine neue Verbindung ohne Pooling öffnete. Jede Ursache für sich wäre verkraftbar gewesen; zusammen überschritten sie täglich die Speichergrenze des Workers.
Umgebung
Mule-Anwendungen auf CloudHub in mehreren Umgebungen, die Kassen-, Warenwirtschafts- und ERP-Systeme integrieren.
Vorgehen
AceMQ korrelierte die Zeitpunkte der Neustarts mit dem Anwendungsverhalten und den Worker-Metriken, um die Suche einzugrenzen, und prüfte dann Object-Store-Konfiguration, Caching Scopes und Connector-Pooling als die drei häufigsten Speicherfresser auf Anwendungsseite. Namentlich zugeordnete Senior Engineers bearbeiteten das Problem direkt, mit 24/7-Abdeckung und Reaktionszeitzielen ab 15 Minuten, je nach Plan.
Lösung
- Neustart-Ereignisse der Worker mit Flow-Aktivität und Speichermetriken korreliert, um die beteiligten Flows zu isolieren
- Unbegrenzte In-Memory Object Stores auf persistente Stores mit expliziten TTLs umgestellt
- Cache Scopes begrenzt und Eviction-Richtlinien für Lookup-Daten festgelegt, die unbegrenzt gewachsen waren
- Connection Pooling bei Connectors aktiviert, die pro Request eine eigene Verbindung öffneten
- Dauerhaftigkeit auf Nachrichtenebene ergänzt, damit ein unerwarteter Neustart keine laufende Verarbeitung mehr verwirft
- Worker-Zuteilung anhand des gemessenen Speicherbedarfs im Normalbetrieb und in Spitzen dimensioniert
Resultat
Die täglichen Worker-Neustarts haben aufgehört, und Nachrichten in Verarbeitung überstehen heute einen Neustart, statt verloren zu gehen. Die Worker-Dimensionierung beruht auf gemessenem Verhalten statt auf Schätzungen.