Überblick
OOMKilled ohne Out-of-Memory-Fehler auf Anwendungsebene heißt meist, dass die Runtime im Container das Speicherlimit des Containers nie mitbekommen hat. Eine JVM auf einem alten Base Image oder ein Node-Prozess mit manuell gesetztem max-old-space-size, kopiert von einem größeren Host, dimensioniert sich am gesamten Hostspeicher – und wird vom Kernel beendet, lange bevor sie sich unter Druck wähnt.
Herausforderung
Mehrere Services wurden mehrmals täglich per OOMKill beendet, ohne Heap Dump und ohne Anwendungsfehler – der Kernel beendete den Prozess, bevor die Runtime irgendetwas melden konnte. Einige Services liefen mit einer JVM auf einem Base Image, das älter war als eine zuverlässige Container-Awareness, andere mit Node und einer Heap-Obergrenze oberhalb des Container-Limits. Höhere Speicherlimits waren bereits probiert worden und hatten die Schwelle nur verschoben.
Umgebung
Containerisierte JVM- und Node-Services auf Kubernetes, gebaut aus einer Mischung von Base Images, die verschiedene Teams pflegen.
Vorgehen
AceMQ stellte die Speicherkonfiguration der Runtime jedes betroffenen Containers seinem cgroup-Limit gegenüber, um zu erkennen, welche Prozesse das Limit nicht kannten und welche schlicht falsch konfiguriert waren. Beide Fälle wurden auf Ebene von Image und Manifest behoben, statt die Limits so lange anzuheben, bis die Kills aufhörten.
Lösung
- Die effektive Speicherkonfiguration jeder Runtime mit dem tatsächlichen cgroup-Limit des Containers verglichen
- Base Images auf Runtime-Versionen aktualisiert, die cgroup-Limits respektieren, mit expliziten prozentualen Heap-Einstellungen
- Fest codierte Heap-Obergrenzen entfernt, die über dem Speicherlimit des Containers lagen
- Off-Heap-, Metaspace- und Thread-Stack-Speicher im Limit berücksichtigt statt nur den Heap
- Speichermetriken auf Container-Ebene und OOMKill-Alerting ergänzt, getrennt vom Alerting für Anwendungsfehler
- Jeden Service unter Last getestet, um das Limit aus der gemessenen Spitze abzuleiten statt durch Versuch und Irrtum
Resultat
Die wiederkehrenden OOMKills sind beseitigt, und die Speicherlimits ergeben sich jetzt aus gemessener Nutzung plus Reserve, statt nach jedem Vorfall weiter erhöht zu werden.