Volver a todos los casos de uso

SoporteMultisectorial

Workers que se reciclan bajo presión de memoria, y por qué la plataforma no puede decirle qué flujo fue

Cadena minorista especializada

Investigación de los reinicios recurrentes de workers de CloudHub bajo presión de memoria y de las causas a nivel de aplicación que los provocaban.

Descripción general

Cuando un worker de CloudHub se recicla bajo presión de memoria, la plataforma informa que ocurrió. No le dice qué flujo, qué object store ni qué fuga de un conector lo provocó. Ese análisis está del lado de la aplicación, y es ahí donde trabaja AceMQ: hacemos tuning y depuración de lo que los clientes ejecutan sobre MuleSoft; no operamos MuleSoft en sí.

Desafío

Los workers se reciclaban varias veces al día y perdían los mensajes en tránsito. La aplicación usaba un object store en memoria para las claves de deduplicación sin expiración, mantenía datos de consulta en caché que crecían sin límite y tenía una configuración de conector que abría una conexión nueva por solicitud, sin pooling. Cada causa por sí sola era tolerable; juntas superaban a diario el techo de memoria del worker.

Entorno

Aplicaciones Mule en CloudHub en varios entornos, que integran sistemas de punto de venta, inventario y ERP.

Enfoque

AceMQ correlacionó las marcas de tiempo de los reinicios con el comportamiento de la aplicación y las métricas de los workers para acotar la búsqueda, y luego revisó la configuración de los object stores, los scopes de caché y el pooling de los conectores, las tres fuentes de consumo de memoria más comunes del lado de la aplicación. Ingenieros sénior asignados trabajaron el problema directamente, con cobertura 24/7 y objetivos de respuesta desde 15 minutos, según el plan.

Solución

  1. Correlación de los eventos de reciclaje de los workers con la actividad de los flujos y las métricas de memoria para aislar los flujos involucrados
  2. Migración de los object stores en memoria sin límite a stores persistentes con TTL explícitos
  3. Límites en los scopes de caché y políticas de desalojo para los datos de consulta que habían crecido sin control
  4. Habilitación del connection pooling en los conectores que abrían una conexión por solicitud
  5. Durabilidad a nivel de mensaje para que un reciclaje inesperado ya no pierda el trabajo en curso
  6. Ajuste de la asignación de workers según la memoria medida en estado estable y en los picos

Resultado final

Los reciclajes diarios de los workers se detuvieron, y los mensajes en tránsito ahora sobreviven a un reinicio en lugar de perderse. El dimensionamiento de los workers se definió a partir del comportamiento medido y no de suposiciones.

Tecnologías

MuleSoftDockerKubernetesRedis

¿Necesita soporte experto de MuleSoft?

Los ingenieros sénior de MuleSoft de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.