Descripción general
Un OOMKilled sin ningún error de falta de memoria a nivel de la aplicación suele significar que el runtime dentro del contenedor nunca se enteró del límite de memoria del contenedor. Una JVM sobre una imagen base antigua, o un proceso de Node con un max-old-space-size configurado a mano y copiado de un host más grande, se dimensiona según la memoria total del host y el kernel lo elimina mucho antes de que crea estar bajo presión.
Desafío
Varios servicios terminaban en OOMKilled varias veces al día sin heap dump y sin error de aplicación: el kernel eliminaba el proceso antes de que el runtime pudiera reportar nada. Algunos servicios ejecutaban una JVM sobre una imagen base anterior a que existiera un reconocimiento confiable de contenedores, y otros ejecutaban Node con un techo de heap más alto que el propio límite del contenedor. Ya se había intentado aumentar los límites de memoria, y eso solo había movido el umbral.
Entorno
Servicios JVM y Node contenerizados en Kubernetes, construidos a partir de una mezcla de imágenes base mantenidas por distintos equipos.
Enfoque
AceMQ comparó la configuración de memoria del runtime de cada contenedor afectado con su límite de cgroup para identificar qué procesos desconocían el límite y cuáles simplemente estaban mal configurados. Ambos casos se corrigieron a nivel de la imagen y del manifiesto, en lugar de aumentar los límites hasta que dejaran de producirse las eliminaciones.
Solución
- Comparación de la configuración de memoria efectiva de cada runtime con el límite real de cgroup del contenedor
- Actualización de las imágenes base a versiones del runtime que respetan los límites de cgroup, con configuraciones explícitas de heap basadas en porcentajes
- Eliminación de los techos de heap fijos en el código que superaban el límite de memoria del contenedor
- Consideración de la memoria off-heap, del metaspace y de las pilas de los threads dentro del límite, y no solo del heap
- Incorporación de métricas de memoria a nivel de contenedor y de alertas de OOMKill, separadas de las alertas de errores de la aplicación
- Pruebas de carga de cada servicio para fijar el límite a partir del pico medido y no por prueba y error
Resultado final
Se eliminaron los OOMKills recurrentes, y los límites de memoria ahora se calculan a partir del uso medido más un margen, en lugar de aumentarse después de cada incidente.