Voltar para todos os casos de uso

CorreçãoSoftware / plataformas digitais

O runtime se dimensionou para o host, e depois o cgroup o encerrou

Operadora de marketplace online

Resolução de contêineres repetidamente encerrados por OOMKilled porque os runtimes JVM e Node dentro deles dimensionavam o heap pela memória do host, e não pelo limite do cgroup.

Visão geral

Um OOMKilled sem nenhum erro de falta de memória na aplicação geralmente significa que o runtime dentro do contêiner nunca soube do limite de memória do contêiner. Uma JVM em uma imagem base antiga, ou um processo Node com um max-old-space-size definido manualmente e copiado de um host maior, se dimensiona pela memória total do host e é encerrado pelo kernel muito antes de achar que está sob pressão.

Desafio

Vários serviços eram encerrados por OOMKilled várias vezes por dia, sem heap dump e sem erro na aplicação: o kernel matava o processo antes que o runtime pudesse reportar qualquer coisa. Alguns serviços rodavam uma JVM em uma imagem base anterior ao suporte confiável a contêineres, e outros rodavam Node com um teto de heap acima do próprio limite do contêiner. Já tinham tentado aumentar os limites de memória, o que apenas deslocou o ponto de corte.

Ambiente

Serviços JVM e Node em contêineres no Kubernetes, construídos a partir de uma mistura de imagens base mantidas por equipes diferentes.

Abordagem

A AceMQ mapeou a configuração de memória do runtime de cada contêiner afetado em relação ao limite do cgroup, para identificar quais processos desconheciam o limite e quais simplesmente estavam mal configurados. As duas categorias foram corrigidas no nível da imagem e do manifesto, e não aumentando os limites até as mortes pararem.

Solução

  1. Comparação da configuração efetiva de memória de cada runtime com o limite real do cgroup do contêiner
  2. Atualização das imagens base para versões de runtime que respeitam os limites do cgroup, com configurações de heap explícitas em percentual
  3. Remoção dos tetos de heap fixos que excediam o limite de memória do contêiner
  4. Contabilização da memória off-heap, do metaspace e das stacks de threads no limite, e não apenas do heap
  5. Inclusão de métricas de memória no nível do contêiner e de alertas de OOMKill separados dos alertas de erro da aplicação
  6. Teste de carga de cada serviço para definir o limite a partir do pico medido, e não por tentativa e erro

Resultado obtido

Os OOMKills recorrentes foram eliminados, e os limites de memória agora são definidos a partir do uso medido mais uma folga, em vez de serem aumentados após cada incidente.

Tecnologias

DockerKubernetesPostgreSQLRedis

Enfrentando um problema de produção com Docker?

Os engenheiros Docker sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.