Présentation
Une plateforme SaaS de partage d'écran en temps réel exploitait un cluster Redis dont la mémoire augmentait régulièrement entre deux redémarrages, sans jamais redescendre. Un redémarrage suffisait à la libérer, ce qui rendait le problème facile à tolérer et facile à mal diagnostiquer. AceMQ a mené la mission sous forme de six sessions de travail en direct totalisant quatorze heures, avec les ingénieurs du client autour de la table, plutôt que de remettre un rapport écrit des semaines plus tard.
Défi
Deux problèmes distincts se présentaient sous un seul symptôme. Le plafond mémoire avait été mal configuré à 7 Go, si bien que l'instance n'évinçait pas de données quand elle aurait dû le faire, et Redis Search se dégradait sous un schéma d'écritures à haute fréquence pour lequel l'index n'avait pas été conçu. Chacun, pris isolément, était supportable. Ensemble, ils produisaient une croissance qui ressemblait à une fuite classique et résistait aux corrections habituelles de la politique d'éviction.
Environnement
Redis conteneurisé avec basculement géré par Sentinel, stockant l'état des sessions d'un produit de collaboration en temps réel.
Approche
Les sessions étaient volontairement interactives : reproduire, mesurer, modifier une seule variable, mesurer à nouveau. Ce format a permis à l'équipe de distinguer l'erreur de configuration du plafond du comportement de Redis Search, au lieu d'appliquer les deux corrections en même temps sans rien apprendre.
Solution
- Correction du plafond mémoire pour que la politique d'éviction puisse réellement s'enclencher au seuil prévu
- Identification de la dégradation de Redis Search sous des écritures à haute fréquence comme une cause distincte, et non comme un symptôme de la fuite
- Mise en place d'une rotation échelonnée des conteneurs pour récupérer la mémoire progressivement, sans redémarrer tout le cluster en même temps
- Revue de la configuration Sentinel pour que le comportement de basculement pendant la rotation soit prévisible
- Ajout des métriques mémoire et d'index qui auraient permis de détecter plus tôt les deux causes
- Transfert de compétences pour que les ingénieurs du client puissent effectuer eux-mêmes la rotation, sans dépendre d'AceMQ
Résultat obtenu
La croissance de la mémoire a été réduite et le système de production stabilisé. Aucune défaillance critique n'a été signalée dans la période qui a suivi la mission, et la plateforme a continué de fonctionner pendant toute la remédiation, sans fenêtre de maintenance.