Volver a todos los casos de uso

RemediaciónSoftware / Plataformas digitales

El runtime se dimensionó para el host y luego el cgroup lo eliminó

Operador de marketplace en línea

Resolución de contenedores que terminaban una y otra vez en OOMKilled porque los runtimes de JVM y Node que corrían dentro dimensionaban el heap según la memoria del host y no según el límite del cgroup.

Descripción general

Un OOMKilled sin ningún error de falta de memoria a nivel de la aplicación suele significar que el runtime dentro del contenedor nunca se enteró del límite de memoria del contenedor. Una JVM sobre una imagen base antigua, o un proceso de Node con un max-old-space-size configurado a mano y copiado de un host más grande, se dimensiona según la memoria total del host y el kernel lo elimina mucho antes de que crea estar bajo presión.

Desafío

Varios servicios terminaban en OOMKilled varias veces al día sin heap dump y sin error de aplicación: el kernel eliminaba el proceso antes de que el runtime pudiera reportar nada. Algunos servicios ejecutaban una JVM sobre una imagen base anterior a que existiera un reconocimiento confiable de contenedores, y otros ejecutaban Node con un techo de heap más alto que el propio límite del contenedor. Ya se había intentado aumentar los límites de memoria, y eso solo había movido el umbral.

Entorno

Servicios JVM y Node contenerizados en Kubernetes, construidos a partir de una mezcla de imágenes base mantenidas por distintos equipos.

Enfoque

AceMQ comparó la configuración de memoria del runtime de cada contenedor afectado con su límite de cgroup para identificar qué procesos desconocían el límite y cuáles simplemente estaban mal configurados. Ambos casos se corrigieron a nivel de la imagen y del manifiesto, en lugar de aumentar los límites hasta que dejaran de producirse las eliminaciones.

Solución

  1. Comparación de la configuración de memoria efectiva de cada runtime con el límite real de cgroup del contenedor
  2. Actualización de las imágenes base a versiones del runtime que respetan los límites de cgroup, con configuraciones explícitas de heap basadas en porcentajes
  3. Eliminación de los techos de heap fijos en el código que superaban el límite de memoria del contenedor
  4. Consideración de la memoria off-heap, del metaspace y de las pilas de los threads dentro del límite, y no solo del heap
  5. Incorporación de métricas de memoria a nivel de contenedor y de alertas de OOMKill, separadas de las alertas de errores de la aplicación
  6. Pruebas de carga de cada servicio para fijar el límite a partir del pico medido y no por prueba y error

Resultado final

Se eliminaron los OOMKills recurrentes, y los límites de memoria ahora se calculan a partir del uso medido más un margen, en lugar de aumentarse después de cada incidente.

Tecnologías

DockerKubernetesPostgreSQLRedis

¿Enfrenta un problema de Docker en producción?

Los ingenieros sénior de Docker de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.