Überblick
Das standardmäßige In-Memory Repeatable Streaming von Mule funktioniert problemlos, bis eine Payload den konfigurierten Puffer überschreitet. Ab dann hängt das Verhalten vollständig von einer Streaming-Strategie ab, die die meisten Anwendungen nie festlegen. Sichtbar wird das bei Integrationen mit großen Dateien und großen Responses – meist in Produktion und meist, nachdem ein Partner gewachsen ist.
Herausforderung
Eine Dateiintegration mit einem Partner begann zu scheitern, als die Dateien über einige hundert Megabyte hinauswuchsen. Der Flow nutzte DataWeave-Transformationen und einen For-Each-Scope über die gesamte Payload, dazu den standardmäßigen In-Memory Repeatable Stream – das komplette Dokument wurde also mehrfach im Heap materialisiert. Worker wurden mitten in der Verarbeitung beendet, und beim Retry wurde die Partnerdatei von vorn verarbeitet, was die Last zusätzlich erhöhte.
Umgebung
Mule-Anwendungen auf CloudHub-Workern, die Datei-Feeds von Partnern und API-Traffic verarbeiten und mit Cloud-Datenbanken sowie internen Services integriert sind.
Vorgehen
AceMQ profilierte den Worker-Heap, während die fehlerhafte Datei reproduziert wurde, um zu bestätigen, wo die Payload materialisiert wurde, und baute den Flow anschließend so um, dass er streamt statt puffert. Hinweis: AceMQ betreibt nicht die MuleSoft-Plattform – diese Arbeit betrifft die Anwendungen, Flows und das Integrationsdesign des Kunden, die darauf laufen.
Lösung
- Worker-Heap während eines reproduzierten Fehlers profiliert, um zu ermitteln, wo die Payload materialisiert wurde
- File-Store Repeatable Streaming mit passender Puffergröße für große Payloads konfiguriert
- DataWeave-Transformationen so umgebaut, dass sie streamen, statt das komplette Dokument in den Speicher zu laden
- Iteration über die gesamte Payload durch Batch-Verarbeitung mit begrenzten Record-Blöcken ersetzt
- Retries so gestaltet, dass sie an einem Record-Checkpoint fortsetzen, statt die gesamte Datei neu zu starten
- Lasttests mit Payloads durchgeführt, die deutlich über der größten beobachteten Partnerdatei liegen
Resultat
Die Out-of-Memory-Fehler sind verschwunden. Die Integration verarbeitet heute Dateien, die ein Mehrfaches der Größe haben, an der sie ursprünglich gescheitert war – bei unveränderter Worker-Dimensionierung.