Retour à tous les cas d'usage

SupportLogiciels / plateformes numériques

Une mémoire qui ne faisait que grimper

Plateforme SaaS de partage d'écran en temps réel

Six sessions en direct sur quatorze heures pour comprendre pourquoi un cluster Redis dépassait sans cesse son plafond mémoire, et y mettre fin sans fenêtre de maintenance.

Présentation

Une plateforme SaaS de partage d'écran en temps réel exploitait un cluster Redis dont la mémoire augmentait régulièrement entre deux redémarrages, sans jamais redescendre. Un redémarrage suffisait à la libérer, ce qui rendait le problème facile à tolérer et facile à mal diagnostiquer. AceMQ a mené la mission sous forme de six sessions de travail en direct totalisant quatorze heures, avec les ingénieurs du client autour de la table, plutôt que de remettre un rapport écrit des semaines plus tard.

Défi

Deux problèmes distincts se présentaient sous un seul symptôme. Le plafond mémoire avait été mal configuré à 7 Go, si bien que l'instance n'évinçait pas de données quand elle aurait dû le faire, et Redis Search se dégradait sous un schéma d'écritures à haute fréquence pour lequel l'index n'avait pas été conçu. Chacun, pris isolément, était supportable. Ensemble, ils produisaient une croissance qui ressemblait à une fuite classique et résistait aux corrections habituelles de la politique d'éviction.

Environnement

Redis conteneurisé avec basculement géré par Sentinel, stockant l'état des sessions d'un produit de collaboration en temps réel.

Approche

Les sessions étaient volontairement interactives : reproduire, mesurer, modifier une seule variable, mesurer à nouveau. Ce format a permis à l'équipe de distinguer l'erreur de configuration du plafond du comportement de Redis Search, au lieu d'appliquer les deux corrections en même temps sans rien apprendre.

Solution

  1. Correction du plafond mémoire pour que la politique d'éviction puisse réellement s'enclencher au seuil prévu
  2. Identification de la dégradation de Redis Search sous des écritures à haute fréquence comme une cause distincte, et non comme un symptôme de la fuite
  3. Mise en place d'une rotation échelonnée des conteneurs pour récupérer la mémoire progressivement, sans redémarrer tout le cluster en même temps
  4. Revue de la configuration Sentinel pour que le comportement de basculement pendant la rotation soit prévisible
  5. Ajout des métriques mémoire et d'index qui auraient permis de détecter plus tôt les deux causes
  6. Transfert de compétences pour que les ingénieurs du client puissent effectuer eux-mêmes la rotation, sans dépendre d'AceMQ

Résultat obtenu

La croissance de la mémoire a été réduite et le système de production stabilisé. Aucune défaillance critique n'a été signalée dans la période qui a suivi la mission, et la plateforme a continué de fonctionner pendant toute la remédiation, sans fenêtre de maintenance.

Technologies

RedisRedis SentinelContainersObservability

Besoin d'un support Redis expert ?

Les ingénieurs Redis seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.