Descripción general
El repeatable streaming en memoria predeterminado de Mule funciona bien hasta que un payload supera el buffer configurado; a partir de ese punto, el comportamiento depende por completo de una estrategia de streaming que la mayoría de las aplicaciones nunca define. Esto aflora en las integraciones con archivos o respuestas grandes, casi siempre en producción y casi siempre después de que un partner crece.
Desafío
Una integración de archivos con un partner empezó a fallar cuando el tamaño de los archivos superó unos pocos cientos de megabytes. El flujo usaba transformaciones de DataWeave y un scope For Each sobre el payload completo, con el repeatable stream en memoria predeterminado, así que el documento entero se materializaba en el heap más de una vez. Los workers se caían en pleno procesamiento y, al reintentar, el archivo del partner se reprocesaba desde el principio, lo que agravaba la carga.
Entorno
Aplicaciones Mule en workers de CloudHub que procesan feeds de archivos de partners y tráfico de APIs, con integración a bases de datos en la nube y servicios internos.
Enfoque
AceMQ perfiló el heap de los workers durante una reproducción con el archivo que fallaba para confirmar dónde se materializaba el payload, y luego rediseñó el flujo para que hiciera streaming en lugar de cargar todo en buffer. Cabe aclarar que AceMQ no opera la plataforma de MuleSoft: este trabajo se realiza sobre las aplicaciones, los flujos y el diseño de integración del cliente que se ejecutan en ella.
Solución
- Perfilado del heap de los workers durante una falla reproducida para identificar dónde se materializaba el payload
- Configuración de repeatable streaming con file store y un tamaño de buffer adecuado para payloads grandes
- Rediseño de las transformaciones de DataWeave para que hagan streaming en lugar de cargar el documento completo en memoria
- Reemplazo de la iteración sobre el payload completo por procesamiento batch con bloques de registros acotados
- Reintentos que se reanudan desde un checkpoint de registro en lugar de volver a procesar todo el archivo
- Pruebas de carga con payloads muy superiores al archivo de partner más grande observado
Resultado final
Las fallas por falta de memoria terminaron y la integración ahora procesa archivos varias veces más grandes que el tamaño que originalmente la hizo fallar, con el mismo dimensionamiento de workers.