Présentation
Le repeatable streaming en mémoire, mode par défaut de Mule, fonctionne bien jusqu'à ce qu'une charge utile dépasse le tampon configuré ; à partir de là, le comportement dépend entièrement d'une stratégie de streaming que la plupart des applications ne définissent jamais. C'est dans les intégrations de gros fichiers et de réponses volumineuses que le problème apparaît, généralement en production et généralement après la croissance d'un partenaire.
Défi
Une intégration de fichiers partenaires a commencé à échouer lorsque la taille des fichiers a dépassé quelques centaines de mégaoctets. Le flux utilisait des transformations DataWeave et un scope For Each sur la charge utile complète, avec le stream répétable en mémoire par défaut : le document entier était donc matérialisé dans le heap plus d'une fois. Les workers étaient tués en plein traitement, et le fichier du partenaire était retraité depuis le début à chaque relance, ce qui aggravait la charge.
Environnement
Applications Mule sur des workers CloudHub traitant des flux de fichiers partenaires et du trafic API, intégrées à des bases de données cloud et à des services internes.
Approche
AceMQ a profilé le heap des workers lors d'une reproduction avec le fichier en échec pour confirmer où la charge utile était matérialisée, puis a remanié le flux pour qu'il traite les données en streaming au lieu de les mettre en tampon. Précisons qu'AceMQ n'exploite pas la plateforme MuleSoft : ce travail porte sur les applications, les flux et la conception des intégrations du client qui y tournent.
Solution
- Profilage du heap des workers pendant la reproduction de l'échec pour identifier où la charge utile était matérialisée
- Configuration du repeatable streaming sur file store, avec un dimensionnement de tampon adapté aux charges utiles volumineuses
- Remaniement des transformations DataWeave pour traiter les données en streaming au lieu de charger le document complet en mémoire
- Remplacement de l'itération sur la charge utile complète par un traitement batch avec des blocs d'enregistrements de taille bornée
- Reprise des relances à partir d'un point de contrôle par enregistrement au lieu de redémarrer tout le fichier
- Tests de charge avec des charges utiles bien supérieures au plus gros fichier partenaire observé
Résultat obtenu
Les erreurs de mémoire insuffisante ont cessé, et l'intégration traite désormais des fichiers plusieurs fois plus volumineux que celui qui l'avait mise en échec à l'origine, avec le même dimensionnement de workers.