Voltar para todos os casos de uso

CorreçãoServiços financeiros / pagamentos

Acabar com o eviction descontrolado do WiredTiger antes que ele trave a camada de aplicação

Processadora global de pagamentos

Diagnóstico e resolução de travamentos na aplicação causados por um working set que ficou maior que o cache do WiredTiger, colocando o servidor sob pressão contínua de eviction.

Visão geral

Uma plataforma de pagamentos começou a ter travamentos de vários segundos em escritas que antes terminavam em poucos milissegundos. As métricas do servidor mostravam o cache do WiredTiger travado no gatilho de eviction, com threads da aplicação sendo recrutadas para fazer eviction de páginas. Os engenheiros da AceMQ foram acionados sob metas de resposta a partir de 15 minutos, conforme o plano, e trabalharam no incidente junto com a equipe de DBAs do cliente.

Desafio

O working set tinha ultrapassado a alocação do cache do WiredTiger, então os cache misses de leitura forçavam o eviction de páginas sujas no caminho crítico. Quando as threads da aplicação passaram a participar do eviction, a latência disparou de forma não linear e os connection pools saturaram mais acima. A equipe vinha tratando o caso como um problema de rede, porque o sintoma aparecia como timeouts no cliente, e não como queries lentas.

Ambiente

Replica sets de MongoDB em bare metal, sustentando um serviço de autorização de transações de alto volume.

Abordagem

A AceMQ correlacionou os contadores de eviction do serverStatus, o percentual de páginas sujas no cache e a duração dos checkpoints com o histograma de latência da aplicação para confirmar o eviction como causa raiz, descartando disco e rede. A partir daí, o trabalho se dividiu entre alívio imediato da pressão e correções duradouras no tamanho dos índices e dos documentos, para que o working set voltasse a caber no cache.

Solução

  1. Correlação dos contadores de eviction do WiredTiger, da proporção de páginas sujas no cache e da duração dos checkpoints com a latência no cliente para isolar o verdadeiro gargalo
  2. cacheSizeGB reajustado com base na memória real do host e nos limites do container, em vez da heurística padrão de metade da RAM
  3. Identificação e remoção de índices compostos redundantes que consumiam cache sem atender a nenhum formato de query
  4. Remodelagem das duas collections mais pesadas para reduzir o tamanho dos documentos e eliminar o crescimento ilimitado de arrays
  5. Pressão de eviction, percentual de páginas sujas no cache e duração dos checkpoints incluídos na linha de base de alertas, para que a condição seja detectada antes de chegar às threads da aplicação

Resultado obtido

O eviction voltou para as threads de background e a latência de escrita retornou à faixa normal, eliminando totalmente os timeouts no cliente. O cliente agora tem um sinal de alerta antecipado para pressão no cache e um modelo de dimensionamento documentado para o crescimento futuro dos dados.

Tecnologias

MongoDBKubernetesPrometheusLinux

Enfrentando um problema de produção com MongoDB?

Os engenheiros MongoDB sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.