Voltar para todos os casos de uso

SuporteMultissetorial

Workers reciclados sob pressão de memória, e por que a plataforma não diz qual flow foi o culpado

Rede de varejo especializado

Investigação de reinicializações recorrentes de workers do CloudHub sob pressão de memória e das causas na aplicação por trás delas.

Visão geral

Quando um worker do CloudHub é reciclado por pressão de memória, a plataforma informa que isso aconteceu. Ela não diz qual flow, qual object store ou qual vazamento de conector causou o problema. Essa análise é do lado da aplicação, e é ali que a AceMQ atua: ajustamos e depuramos o que os clientes executam no MuleSoft, não operamos o MuleSoft em si.

Desafio

Os workers eram reciclados várias vezes por dia, descartando mensagens em processamento. A aplicação usava um object store em memória para chaves de deduplicação sem expiração, mantinha dados de lookup em cache que cresciam sem limite e tinha uma configuração de conector que abria uma nova conexão a cada requisição, sem pooling. Cada causa, isoladamente, era tolerável; juntas, ultrapassavam diariamente o teto de memória do worker.

Ambiente

Aplicações Mule no CloudHub em vários ambientes, integrando sistemas de ponto de venda, estoque e ERP.

Abordagem

A AceMQ correlacionou os horários das reinicializações com o comportamento da aplicação e as métricas dos workers para restringir a busca e, em seguida, revisou a configuração dos object stores, os escopos de cache e o pooling dos conectores, os três pontos mais comuns de consumo de memória do lado da aplicação. Engenheiros sêniores designados trabalharam diretamente no problema, com cobertura 24/7 e metas de resposta a partir de 15 minutos, conforme o plano.

Solução

  1. Correlação dos eventos de reciclagem dos workers com a atividade dos flows e as métricas de memória para isolar os flows envolvidos
  2. Migração dos object stores em memória sem limite para stores persistentes com TTLs explícitos
  3. Limitação dos escopos de cache e definição de políticas de eviction para dados de lookup que haviam crescido sem controle
  4. Ativação do pooling de conexões nos conectores que abriam uma conexão por requisição
  5. Inclusão de durabilidade no nível da mensagem, para que uma reciclagem inesperada não descarte mais o trabalho em processamento
  6. Dimensionamento adequado dos workers com base no consumo de memória medido em regime estável e no pico

Resultado obtido

As reciclagens diárias dos workers pararam, e as mensagens em processamento agora sobrevivem a uma reinicialização em vez de se perderem. O dimensionamento dos workers passou a se basear no comportamento medido, e não em suposições.

Tecnologias

MuleSoftDockerKubernetesRedis

Precisa de suporte especializado em MuleSoft?

Os engenheiros MuleSoft sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.