Visão geral
Uma plataforma de pagamentos começou a ter travamentos de vários segundos em escritas que antes terminavam em poucos milissegundos. As métricas do servidor mostravam o cache do WiredTiger travado no gatilho de eviction, com threads da aplicação sendo recrutadas para fazer eviction de páginas. Os engenheiros da AceMQ foram acionados sob metas de resposta a partir de 15 minutos, conforme o plano, e trabalharam no incidente junto com a equipe de DBAs do cliente.
Desafio
O working set tinha ultrapassado a alocação do cache do WiredTiger, então os cache misses de leitura forçavam o eviction de páginas sujas no caminho crítico. Quando as threads da aplicação passaram a participar do eviction, a latência disparou de forma não linear e os connection pools saturaram mais acima. A equipe vinha tratando o caso como um problema de rede, porque o sintoma aparecia como timeouts no cliente, e não como queries lentas.
Ambiente
Replica sets de MongoDB em bare metal, sustentando um serviço de autorização de transações de alto volume.
Abordagem
A AceMQ correlacionou os contadores de eviction do serverStatus, o percentual de páginas sujas no cache e a duração dos checkpoints com o histograma de latência da aplicação para confirmar o eviction como causa raiz, descartando disco e rede. A partir daí, o trabalho se dividiu entre alívio imediato da pressão e correções duradouras no tamanho dos índices e dos documentos, para que o working set voltasse a caber no cache.
Solução
- Correlação dos contadores de eviction do WiredTiger, da proporção de páginas sujas no cache e da duração dos checkpoints com a latência no cliente para isolar o verdadeiro gargalo
- cacheSizeGB reajustado com base na memória real do host e nos limites do container, em vez da heurística padrão de metade da RAM
- Identificação e remoção de índices compostos redundantes que consumiam cache sem atender a nenhum formato de query
- Remodelagem das duas collections mais pesadas para reduzir o tamanho dos documentos e eliminar o crescimento ilimitado de arrays
- Pressão de eviction, percentual de páginas sujas no cache e duração dos checkpoints incluídos na linha de base de alertas, para que a condição seja detectada antes de chegar às threads da aplicação
Resultado obtido
O eviction voltou para as threads de background e a latência de escrita retornou à faixa normal, eliminando totalmente os timeouts no cliente. O cliente agora tem um sinal de alerta antecipado para pressão no cache e um modelo de dimensionamento documentado para o crescimento futuro dos dados.