Visão geral
O repeatable streaming em memória, padrão do Mule, funciona bem até que um payload ultrapasse o buffer configurado; a partir daí, o comportamento depende inteiramente de uma estratégia de streaming que a maioria das aplicações nunca define. É nas integrações com arquivos grandes e respostas grandes que isso aparece, geralmente em produção e geralmente depois que um parceiro cresce.
Desafio
Uma integração de arquivos com um parceiro começou a falhar quando os arquivos passaram de algumas centenas de megabytes. O flow usava transformações DataWeave e um escopo For Each sobre o payload completo, com o repeatable stream em memória padrão, então o documento inteiro era materializado no heap mais de uma vez. Os workers eram encerrados no meio do processamento, e o arquivo do parceiro era reprocessado desde o início a cada retry, agravando a carga.
Ambiente
Aplicações Mule em workers do CloudHub processando feeds de arquivos de parceiros e tráfego de APIs, integradas a bancos de dados em nuvem e serviços internos.
Abordagem
A AceMQ analisou o heap dos workers durante a reprodução da falha com o arquivo problemático para confirmar onde o payload estava sendo materializado e, em seguida, reestruturou o flow para fazer streaming em vez de buffering. Observação: a AceMQ não opera a plataforma MuleSoft; este trabalho é feito nas aplicações, nos flows e no design de integração do cliente que rodam nela.
Solução
- Análise do heap dos workers durante uma falha reproduzida para identificar onde o payload era materializado
- Configuração de repeatable streaming com file store e dimensionamento de buffer adequado para payloads grandes
- Reestruturação das transformações DataWeave para fazer streaming em vez de carregar o documento completo na memória
- Substituição da iteração sobre o payload inteiro por processamento em batch com blocos de registros limitados
- Retries passaram a ser retomados a partir de um checkpoint de registro, em vez de reiniciar o arquivo inteiro
- Testes de carga com payloads bem acima do maior arquivo de parceiro já observado
Resultado obtido
As falhas de falta de memória acabaram, e a integração agora processa arquivos várias vezes maiores do que o tamanho que originalmente a derrubava, com o mesmo dimensionamento de workers.