Visão geral
Quando um worker do CloudHub é reciclado por pressão de memória, a plataforma informa que isso aconteceu. Ela não diz qual flow, qual object store ou qual vazamento de conector causou o problema. Essa análise é do lado da aplicação, e é ali que a AceMQ atua: ajustamos e depuramos o que os clientes executam no MuleSoft, não operamos o MuleSoft em si.
Desafio
Os workers eram reciclados várias vezes por dia, descartando mensagens em processamento. A aplicação usava um object store em memória para chaves de deduplicação sem expiração, mantinha dados de lookup em cache que cresciam sem limite e tinha uma configuração de conector que abria uma nova conexão a cada requisição, sem pooling. Cada causa, isoladamente, era tolerável; juntas, ultrapassavam diariamente o teto de memória do worker.
Ambiente
Aplicações Mule no CloudHub em vários ambientes, integrando sistemas de ponto de venda, estoque e ERP.
Abordagem
A AceMQ correlacionou os horários das reinicializações com o comportamento da aplicação e as métricas dos workers para restringir a busca e, em seguida, revisou a configuração dos object stores, os escopos de cache e o pooling dos conectores, os três pontos mais comuns de consumo de memória do lado da aplicação. Engenheiros sêniores designados trabalharam diretamente no problema, com cobertura 24/7 e metas de resposta a partir de 15 minutos, conforme o plano.
Solução
- Correlação dos eventos de reciclagem dos workers com a atividade dos flows e as métricas de memória para isolar os flows envolvidos
- Migração dos object stores em memória sem limite para stores persistentes com TTLs explícitos
- Limitação dos escopos de cache e definição de políticas de eviction para dados de lookup que haviam crescido sem controle
- Ativação do pooling de conexões nos conectores que abriam uma conexão por requisição
- Inclusão de durabilidade no nível da mensagem, para que uma reciclagem inesperada não descarte mais o trabalho em processamento
- Dimensionamento adequado dos workers com base no consumo de memória medido em regime estável e no pico
Resultado obtido
As reciclagens diárias dos workers pararam, e as mensagens em processamento agora sobrevivem a uma reinicialização em vez de se perderem. O dimensionamento dos workers passou a se basear no comportamento medido, e não em suposições.