Retour à tous les cas d'usage

RemédiationLogiciels / plateformes numériques

Le runtime s'est dimensionné pour l'hôte, puis le cgroup l'a tué

Opérateur de place de marché en ligne

Résolution de conteneurs tués à répétition (OOMKilled) parce que les runtimes JVM et Node qu'ils hébergeaient dimensionnaient leur heap sur la mémoire de l'hôte plutôt que sur la limite du cgroup.

Présentation

Un OOMKilled sans aucune erreur de mémoire insuffisante côté application signifie généralement que le runtime du conteneur n'a jamais pris connaissance de la limite mémoire du conteneur. Une JVM sur une image de base ancienne, ou un processus Node dont le max-old-space-size a été fixé à la main en reprenant la valeur d'un hôte plus gros, se dimensionne sur la mémoire totale de l'hôte et se fait tuer par le noyau bien avant de se croire sous pression.

Défi

Plusieurs services étaient tués pour OOM plusieurs fois par jour, sans heap dump ni erreur applicative : le noyau tuait le processus avant que le runtime ne puisse signaler quoi que ce soit. Certains services faisaient tourner une JVM sur une image de base antérieure à une prise en compte fiable des conteneurs, d'autres exécutaient Node avec un plafond de heap supérieur à la limite du conteneur lui-même. Relever les limites mémoire avait été tenté, mais n'avait fait que déplacer le seuil.

Environnement

Services JVM et Node conteneurisés sur Kubernetes, construits à partir d'images de base hétérogènes maintenues par différentes équipes.

Approche

AceMQ a confronté la configuration mémoire du runtime de chaque conteneur concerné à sa limite de cgroup, pour distinguer les processus qui ignoraient la limite de ceux qui étaient simplement mal configurés. Les deux catégories ont été corrigées au niveau des images et des manifestes, plutôt qu'en relevant les limites jusqu'à ce que les arrêts cessent.

Solution

  1. Comparaison de la configuration mémoire effective de chaque runtime avec la limite de cgroup réelle du conteneur
  2. Mise à jour des images de base vers des versions de runtime qui respectent les limites de cgroup, avec des paramètres de heap explicites exprimés en pourcentage
  3. Suppression des plafonds de heap codés en dur qui dépassaient la limite mémoire du conteneur
  4. Prise en compte dans la limite de la mémoire off-heap, du metaspace et des piles de threads, et pas seulement du heap
  5. Ajout de métriques mémoire au niveau des conteneurs et d'alertes OOMKill distinctes des alertes d'erreurs applicatives
  6. Tests de charge de chaque service pour fixer la limite à partir du pic mesuré plutôt que par tâtonnements

Résultat obtenu

Les OOMKills récurrents ont été éliminés, et les limites mémoire sont désormais établies à partir de l'utilisation mesurée plus une marge, au lieu d'être relevées après chaque incident.

Technologies

DockerKubernetesPostgreSQLRedis

Confronté à un incident de production Docker ?

Les ingénieurs Docker seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.