Zurück zu allen Kundenbeispielen

SupportBranchenübergreifend

Worker starten unter Speicherdruck neu – und die Plattform kann Ihnen nicht sagen, welcher Flow schuld ist

Fachhandelskette

Untersuchung wiederkehrender Neustarts von CloudHub-Workern unter Speicherdruck und der Ursachen auf Anwendungsebene, die dahinterstehen.

Überblick

Wenn ein CloudHub-Worker unter Speicherdruck neu startet, meldet die Plattform, dass es passiert ist. Sie sagt Ihnen nicht, welcher Flow, welcher Object Store oder welches Connector-Leck die Ursache war. Diese Analyse findet auf Anwendungsseite statt, und genau dort arbeitet AceMQ – wir tunen und debuggen, was Kunden auf MuleSoft betreiben; MuleSoft selbst betreiben wir nicht.

Herausforderung

Worker starteten mehrmals täglich neu und verloren dabei Nachrichten, die gerade in Verarbeitung waren. Die Anwendung nutzte einen In-Memory Object Store für Deduplizierungs-Keys ohne Ablaufzeit, hielt gecachte Lookup-Daten vor, die unbegrenzt wuchsen, und hatte eine Connector-Konfiguration, die pro Request eine neue Verbindung ohne Pooling öffnete. Jede Ursache für sich wäre verkraftbar gewesen; zusammen überschritten sie täglich die Speichergrenze des Workers.

Umgebung

Mule-Anwendungen auf CloudHub in mehreren Umgebungen, die Kassen-, Warenwirtschafts- und ERP-Systeme integrieren.

Vorgehen

AceMQ korrelierte die Zeitpunkte der Neustarts mit dem Anwendungsverhalten und den Worker-Metriken, um die Suche einzugrenzen, und prüfte dann Object-Store-Konfiguration, Caching Scopes und Connector-Pooling als die drei häufigsten Speicherfresser auf Anwendungsseite. Namentlich zugeordnete Senior Engineers bearbeiteten das Problem direkt, mit 24/7-Abdeckung und Reaktionszeitzielen ab 15 Minuten, je nach Plan.

Lösung

  1. Neustart-Ereignisse der Worker mit Flow-Aktivität und Speichermetriken korreliert, um die beteiligten Flows zu isolieren
  2. Unbegrenzte In-Memory Object Stores auf persistente Stores mit expliziten TTLs umgestellt
  3. Cache Scopes begrenzt und Eviction-Richtlinien für Lookup-Daten festgelegt, die unbegrenzt gewachsen waren
  4. Connection Pooling bei Connectors aktiviert, die pro Request eine eigene Verbindung öffneten
  5. Dauerhaftigkeit auf Nachrichtenebene ergänzt, damit ein unerwarteter Neustart keine laufende Verarbeitung mehr verwirft
  6. Worker-Zuteilung anhand des gemessenen Speicherbedarfs im Normalbetrieb und in Spitzen dimensioniert

Resultat

Die täglichen Worker-Neustarts haben aufgehört, und Nachrichten in Verarbeitung überstehen heute einen Neustart, statt verloren zu gehen. Die Worker-Dimensionierung beruht auf gemessenem Verhalten statt auf Schätzungen.

Technologien

MuleSoftDockerKubernetesRedis

Brauchen Sie Expertensupport für MuleSoft?

Die Senior Engineers von AceMQ für MuleSoft haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.