Descripción general
El repeatable streaming en memoria que Mule usa por defecto funciona bien hasta que un payload supera el buffer configurado; a partir de ese momento, el comportamiento depende por completo de una estrategia de streaming que la mayoría de las aplicaciones nunca definen. Donde aflora es en las integraciones con ficheros o respuestas grandes, normalmente en producción y normalmente después de que un socio crezca.
Reto
Una integración de ficheros con un socio empezó a fallar cuando el tamaño de los ficheros superó unos cientos de megabytes. El flujo aplicaba transformaciones DataWeave y un ámbito For Each sobre el payload completo con el repeatable stream en memoria por defecto, de modo que el documento entero se materializaba en el heap más de una vez. Los workers se terminaban en mitad del procesamiento y, en cada reintento, el fichero del socio se volvía a procesar desde el principio, lo que agravaba la carga.
Entorno
Aplicaciones Mule en workers de CloudHub que procesan feeds de ficheros de socios y tráfico de API, integradas con bases de datos en la nube y servicios internos.
Enfoque
AceMQ perfiló el heap de los workers mientras se reproducía el fallo con el fichero problemático para confirmar dónde se materializaba el payload y, después, rehízo el flujo para procesar en streaming en lugar de cargar en buffer. Hay que señalar que AceMQ no opera la plataforma de MuleSoft: este trabajo se realiza sobre las aplicaciones, los flujos y el diseño de integración del cliente que se ejecutan en ella.
Solución
- Perfilado del heap de los workers durante la reproducción del fallo para identificar dónde se materializaba el payload
- Configuración de repeatable streaming con almacenamiento en fichero y un tamaño de buffer adecuado para payloads grandes
- Reescritura de las transformaciones DataWeave para procesar en streaming en lugar de cargar el documento completo en memoria
- Sustitución de la iteración sobre el payload completo por procesamiento batch con bloques de registros acotados
- Reintentos que se reanudan desde un checkpoint de registro en lugar de reiniciar el fichero entero
- Pruebas de carga con payloads muy por encima del mayor fichero de socio observado
Resultado final
Los fallos por falta de memoria desaparecieron y la integración procesa ahora ficheros varias veces mayores que el tamaño que la hizo fallar originalmente, con el mismo dimensionamiento de workers.