Retour à tous les cas d'usage

SupportMultisectoriel

Des workers recyclés sous pression mémoire, et pourquoi la plateforme ne vous dit pas quel flux est en cause

Chaîne de distribution spécialisée

Analyse des redémarrages récurrents de workers CloudHub sous pression mémoire et des causes applicatives qui les provoquent.

Présentation

Lorsqu'un worker CloudHub est recyclé sous pression mémoire, la plateforme signale l'événement. Elle ne dit pas quel flux, quel object store ou quelle fuite de connecteur l'a provoqué. Cette analyse se fait côté application, et c'est là qu'intervient AceMQ : nous optimisons et déboguons ce que nos clients exécutent sur MuleSoft, nous n'exploitons pas MuleSoft lui-même.

Défi

Les workers étaient recyclés plusieurs fois par jour, entraînant la perte de messages en cours de traitement. L'application utilisait un object store en mémoire sans expiration pour les clés de déduplication, conservait des données de référence en cache qui croissaient sans limite, et disposait d'une configuration de connecteur qui ouvrait une nouvelle connexion à chaque requête, sans pooling. Prise isolément, chaque cause restait supportable ; cumulées, elles faisaient dépasser chaque jour le plafond mémoire du worker.

Environnement

Applications Mule sur CloudHub réparties sur plusieurs environnements, intégrant les systèmes d'encaissement, de gestion des stocks et l'ERP.

Approche

AceMQ a corrélé les horodatages des redémarrages avec le comportement applicatif et les métriques des workers pour circonscrire la recherche, puis a passé en revue la configuration des object stores, les scopes de cache et le pooling des connecteurs, les trois sources de consommation mémoire les plus fréquentes côté application. Des ingénieurs seniors attitrés ont traité le problème directement, avec une couverture 24/7 et des objectifs de réponse à partir de 15 minutes, selon le plan.

Solution

  1. Corrélation des événements de recyclage des workers avec l'activité des flux et les métriques mémoire pour isoler les flux en cause
  2. Migration des object stores en mémoire non bornés vers des stores persistants avec des TTL explicites
  3. Limitation des scopes de cache et définition de politiques d'éviction sur des données de référence qui avaient crû sans limite
  4. Activation du pooling de connexions sur les connecteurs qui ouvraient une connexion par requête
  5. Ajout d'une durabilité au niveau des messages pour qu'un recyclage inattendu ne fasse plus perdre le travail en cours
  6. Dimensionnement des workers d'après la consommation mémoire mesurée en régime établi et en pic

Résultat obtenu

Les recyclages quotidiens des workers ont cessé, et les messages en cours de traitement survivent désormais à un redémarrage au lieu d'être perdus. Le dimensionnement des workers repose sur un comportement mesuré plutôt que sur des estimations.

Technologies

MuleSoftDockerKubernetesRedis

Besoin d'un support MuleSoft expert ?

Les ingénieurs MuleSoft seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.