Visão geral
Um OOMKilled sem nenhum erro de falta de memória na aplicação geralmente significa que o runtime dentro do contêiner nunca soube do limite de memória do contêiner. Uma JVM em uma imagem base antiga, ou um processo Node com um max-old-space-size definido manualmente e copiado de um host maior, se dimensiona pela memória total do host e é encerrado pelo kernel muito antes de achar que está sob pressão.
Desafio
Vários serviços eram encerrados por OOMKilled várias vezes por dia, sem heap dump e sem erro na aplicação: o kernel matava o processo antes que o runtime pudesse reportar qualquer coisa. Alguns serviços rodavam uma JVM em uma imagem base anterior ao suporte confiável a contêineres, e outros rodavam Node com um teto de heap acima do próprio limite do contêiner. Já tinham tentado aumentar os limites de memória, o que apenas deslocou o ponto de corte.
Ambiente
Serviços JVM e Node em contêineres no Kubernetes, construídos a partir de uma mistura de imagens base mantidas por equipes diferentes.
Abordagem
A AceMQ mapeou a configuração de memória do runtime de cada contêiner afetado em relação ao limite do cgroup, para identificar quais processos desconheciam o limite e quais simplesmente estavam mal configurados. As duas categorias foram corrigidas no nível da imagem e do manifesto, e não aumentando os limites até as mortes pararem.
Solução
- Comparação da configuração efetiva de memória de cada runtime com o limite real do cgroup do contêiner
- Atualização das imagens base para versões de runtime que respeitam os limites do cgroup, com configurações de heap explícitas em percentual
- Remoção dos tetos de heap fixos que excediam o limite de memória do contêiner
- Contabilização da memória off-heap, do metaspace e das stacks de threads no limite, e não apenas do heap
- Inclusão de métricas de memória no nível do contêiner e de alertas de OOMKill separados dos alertas de erro da aplicação
- Teste de carga de cada serviço para definir o limite a partir do pico medido, e não por tentativa e erro
Resultado obtido
Os OOMKills recorrentes foram eliminados, e os limites de memória agora são definidos a partir do uso medido mais uma folga, em vez de serem aumentados após cada incidente.