Descripción general
Un OOMKilled sin ningún error de falta de memoria en la aplicación suele significar que el runtime del contenedor nunca llegó a conocer el límite de memoria del contenedor. Una JVM sobre una imagen base antigua, o un proceso de Node con un max-old-space-size fijado a mano y copiado de un host más grande, se dimensionará según la memoria total del host y el kernel lo matará mucho antes de que crea estar bajo presión.
Reto
Varios servicios recibían un OOMKilled varias veces al día sin heap dump ni error de aplicación: el kernel mataba el proceso antes de que el runtime pudiera informar de nada. Algunos servicios ejecutaban una JVM sobre una imagen base anterior a que existiera una detección fiable de contenedores, y otros ejecutaban Node con un techo de heap más alto que el propio límite del contenedor. Ya se había probado a subir los límites de memoria, y lo único que se consiguió fue desplazar el umbral.
Entorno
Servicios JVM y Node en contenedores sobre Kubernetes, construidos a partir de una mezcla de imágenes base mantenidas por distintos equipos.
Enfoque
AceMQ comparó la configuración de memoria del runtime de cada contenedor afectado con su límite de cgroup para identificar qué procesos desconocían el límite y cuáles estaban simplemente mal configurados. Ambos casos se corrigieron a nivel de imagen y de manifiesto, en lugar de subir los límites hasta que dejaran de producirse las terminaciones.
Solución
- Comparación de la configuración de memoria efectiva de cada runtime con el límite de cgroup real del contenedor
- Actualización de las imágenes base a versiones del runtime que respetan los límites del cgroup, con parámetros de heap explícitos basados en porcentajes
- Eliminación de los techos de heap fijados a mano que superaban el límite de memoria del contenedor
- Inclusión en el límite de la memoria off-heap, del metaspace y de las pilas de los hilos, y no solo del heap
- Métricas de memoria a nivel de contenedor y alertas de OOMKill independientes de las alertas de errores de la aplicación
- Pruebas de carga de cada servicio para fijar el límite a partir del pico medido y no por ensayo y error
Resultado final
Los OOMKills recurrentes desaparecieron, y los límites de memoria se calculan ahora a partir del uso medido más un margen, en lugar de aumentarse tras cada incidente.