Retour à tous les cas d'usage

RemédiationLogiciels / plateformes numériques

Des évictions en hausse alors que le cache affiche de la mémoire disponible

Plateforme de commerce en ligne

Remédiation d'urgence d'une couche Memcached qui évinçait des clés très sollicitées tout en signalant de la mémoire libre, un problème remonté jusqu'à l'allocation des classes de slabs.

Présentation

Le taux de succès du cache d'une plateforme de commerce s'est effondré après une modification du format de sérialisation de ses objets, et les évictions ont fortement augmenté alors même que les serveurs signalaient de la mémoire inutilisée. La base de données a absorbé la charge qui en a résulté, et la latence des pages a suivi.

Défi

Memcached affecte la mémoire à des classes de slabs selon la taille des éléments, et une fois qu'une page est attribuée à une classe, elle y reste par défaut. La modification de la sérialisation a fait basculer l'élément typique dans une autre classe de taille que celle qui détenait la quasi-totalité des pages allouées. La nouvelle classe s'est remplie et a commencé à évincer presque immédiatement, tandis que l'ancienne restait en grande partie vide : la signature classique de la calcification. La mémoire totale semblait correcte sur tous les tableaux de bord, ce qui explique pourquoi l'équipe avait écarté la capacité comme cause.

Environnement

Couche Memcached placée devant une base de données relationnelle pour la mise en cache des sessions et des objets, serveurs d'applications sur Kubernetes.

Approche

Nous avons examiné les statistiques par classe de slabs plutôt que les chiffres agrégés de mémoire, ce qui a rendu le déséquilibre évident en quelques minutes. Le soulagement immédiat est venu de l'activation du rééquilibrage des slabs, qui permet aux pages de migrer d'une classe à l'autre. La correction durable a consisté à dimensionner délibérément les éléments et à superviser les métriques qui révèlent réellement ce mode de défaillance.

Solution

  1. Analyse des statistiques par classe de slabs pour faire apparaître la contradiction entre évictions et mémoire libre que masquaient les métriques agrégées
  2. Activation du rééquilibrage automatique des slabs pour que les pages migrent entre classes de taille à mesure que la charge évolue
  3. Revue du facteur de croissance et du dimensionnement des chunks au regard de la distribution réelle des tailles d'éléments plutôt que des valeurs par défaut
  4. Réduction de la taille des objets sérialisés au niveau applicatif pour que les éléments se placent de façon prévisible dans une classe
  5. Ajout d'une supervision des évictions et du nombre de pages par classe, en remplacement du graphique de mémoire agrégée qui dissimulait le problème
  6. Définition d'une procédure de redémarrage et de préchauffage pour qu'un redémarrage du cache ne provoque pas de ruée sur la base de données

Résultat obtenu

Le taux de succès est revenu à son niveau antérieur en moins d'une heure et les évictions sur la classe sollicitée sont tombées quasiment à zéro. La charge de lecture sur la base de données est revenue à la normale, et la supervision par classe a depuis signalé un deuxième glissement de taille avant qu'il n'ait le moindre impact.

Technologies

MemcachedLinuxMySQLKubernetes

Confronté à un incident de production Memcached ?

Les ingénieurs Memcached seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.