Zurück zu allen Kundenbeispielen

FehlerbehebungSoftware / Digitale Plattformen

Die Runtime hat sich für den Host dimensioniert – dann hat die cgroup sie beendet

Betreiber eines Online-Marktplatzes

Behebung wiederholter OOMKills von Containern, weil die JVM- und Node-Runtimes darin ihren Heap am Speicher des Hosts statt am cgroup-Limit ausrichteten.

Überblick

OOMKilled ohne Out-of-Memory-Fehler auf Anwendungsebene heißt meist, dass die Runtime im Container das Speicherlimit des Containers nie mitbekommen hat. Eine JVM auf einem alten Base Image oder ein Node-Prozess mit manuell gesetztem max-old-space-size, kopiert von einem größeren Host, dimensioniert sich am gesamten Hostspeicher – und wird vom Kernel beendet, lange bevor sie sich unter Druck wähnt.

Herausforderung

Mehrere Services wurden mehrmals täglich per OOMKill beendet, ohne Heap Dump und ohne Anwendungsfehler – der Kernel beendete den Prozess, bevor die Runtime irgendetwas melden konnte. Einige Services liefen mit einer JVM auf einem Base Image, das älter war als eine zuverlässige Container-Awareness, andere mit Node und einer Heap-Obergrenze oberhalb des Container-Limits. Höhere Speicherlimits waren bereits probiert worden und hatten die Schwelle nur verschoben.

Umgebung

Containerisierte JVM- und Node-Services auf Kubernetes, gebaut aus einer Mischung von Base Images, die verschiedene Teams pflegen.

Vorgehen

AceMQ stellte die Speicherkonfiguration der Runtime jedes betroffenen Containers seinem cgroup-Limit gegenüber, um zu erkennen, welche Prozesse das Limit nicht kannten und welche schlicht falsch konfiguriert waren. Beide Fälle wurden auf Ebene von Image und Manifest behoben, statt die Limits so lange anzuheben, bis die Kills aufhörten.

Lösung

  1. Die effektive Speicherkonfiguration jeder Runtime mit dem tatsächlichen cgroup-Limit des Containers verglichen
  2. Base Images auf Runtime-Versionen aktualisiert, die cgroup-Limits respektieren, mit expliziten prozentualen Heap-Einstellungen
  3. Fest codierte Heap-Obergrenzen entfernt, die über dem Speicherlimit des Containers lagen
  4. Off-Heap-, Metaspace- und Thread-Stack-Speicher im Limit berücksichtigt statt nur den Heap
  5. Speichermetriken auf Container-Ebene und OOMKill-Alerting ergänzt, getrennt vom Alerting für Anwendungsfehler
  6. Jeden Service unter Last getestet, um das Limit aus der gemessenen Spitze abzuleiten statt durch Versuch und Irrtum

Resultat

Die wiederkehrenden OOMKills sind beseitigt, und die Speicherlimits ergeben sich jetzt aus gemessener Nutzung plus Reserve, statt nach jedem Vorfall weiter erhöht zu werden.

Technologien

DockerKubernetesPostgreSQLRedis

Haben Sie ein Produktionsproblem mit Docker?

Die Senior Engineers von AceMQ für Docker haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.