Volver a todos los casos de uso

SoporteMultisectorial

Workers que se reciclan por presión de memoria, y por qué la plataforma no puede decirle qué flujo es el culpable

Cadena de comercio especializado

Investigación de los reinicios recurrentes de workers de CloudHub por presión de memoria y de las causas a nivel de aplicación que había detrás.

Descripción general

Cuando un worker de CloudHub se recicla por presión de memoria, la plataforma informa de que ha ocurrido. No le dice qué flujo, qué object store ni qué fuga de un conector lo provocó. Ese análisis está del lado de la aplicación, y ahí es donde trabaja AceMQ: ajustamos y depuramos lo que los clientes ejecutan sobre MuleSoft, no operamos MuleSoft en sí.

Reto

Los workers se reciclaban varias veces al día y perdían los mensajes en curso. La aplicación usaba un object store en memoria para las claves de deduplicación sin ninguna expiración, mantenía datos de consulta en caché que crecían sin límite y tenía una configuración de conector que abría una conexión nueva por petición, sin pooling. Cada causa por separado era tolerable; juntas superaban a diario el techo de memoria del worker.

Entorno

Aplicaciones Mule en CloudHub en varios entornos, que integran sistemas de punto de venta, inventario y ERP.

Enfoque

AceMQ correlacionó las marcas de tiempo de los reinicios con el comportamiento de la aplicación y las métricas de los workers para acotar la búsqueda y, después, revisó la configuración de los object stores, los ámbitos de caché y el pooling de los conectores como los tres sumideros de memoria más habituales del lado de la aplicación. Ingenieros sénior asignados trabajaron directamente en el problema con cobertura 24/7 y objetivos de respuesta desde 15 minutos, según el plan.

Solución

  1. Correlación de los eventos de reciclado de workers con la actividad de los flujos y las métricas de memoria para aislar los flujos implicados
  2. Traslado de los object stores en memoria sin límite a stores persistentes con TTL explícitos
  3. Acotación de los ámbitos de caché y políticas de desalojo para los datos de consulta que habían crecido sin límite
  4. Activación del pooling de conexiones en los conectores que abrían una conexión por petición
  5. Durabilidad a nivel de mensaje para que un reciclado inesperado ya no pierda el trabajo en curso
  6. Redimensionamiento de la asignación de workers según la memoria medida en régimen estable y en los picos

Resultado final

Los reciclados diarios de workers cesaron y los mensajes en curso sobreviven ahora a un reinicio en lugar de perderse. El tamaño de los workers se fijó a partir del comportamiento medido y no a ojo.

Tecnologías

MuleSoftDockerKubernetesRedis

¿Necesita soporte experto de MuleSoft?

Los ingenieros sénior de MuleSoft de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.