Retour à tous les cas d'usage

RemédiationLogiciels / plateformes numériques

Une croissance mémoire qui ressemblait à un problème de charge s'est révélée être un bug d'indexation

Plateforme de collaboration numérique

Un cluster Redis de production plantait sous l'effet d'une croissance mémoire due à son index plein texte et non à la charge de travail. AceMQ a diagnostiqué la fuite, stabilisé le cluster et tracé le chemin de migration vers Valkey.

Présentation

Une plateforme de collaboration utilisait Redis comme couche de sessions et de recherche derrière un produit exposé à ses clients. La mémoire augmentait régulièrement entre deux redémarrages jusqu'au plantage du cluster, et ce schéma avait résisté à plusieurs redimensionnements successifs.

Défi

Ajouter de la mémoire n'y changeait rien, car la croissance n'était pas proportionnelle au trafic. Le cluster avait en outre un plafond mémoire configuré sans unité, si bien que la limite voulue n'avait jamais été appliquée. Les redémarrages libéraient la mémoire, mais faisaient perdre les sessions.

Environnement

Redis conteneurisé avec réplicas et basculement assuré par Sentinel, dans un environnement cloud managé, derrière une charge d'écriture à haute fréquence.

Approche

Les ingénieurs d'AceMQ ont reproduit la croissance sur un cluster de CI, l'ont isolée dans l'index plein texte en supprimant puis reconstruisant l'index et en observant la mémoire redescendre, puis ont confirmé que ce comportement correspondait à un défaut connu de la version du module de recherche utilisée. Un redémarrage échelonné des réplicas avant le maître a fourni à l'équipe une mesure d'atténuation provisoire sûre, le temps d'évaluer le chemin de mise à niveau.

Solution

  1. Reproduction de la croissance mémoire sur un cluster hors production pour en isoler la cause
  2. Fuite attribuée au module de recherche plein texte plutôt qu'à la charge applicative
  3. Correction d'un plafond mémoire configuré sans unité
  4. Définition d'une politique d'éviction explicite, pour que le cluster se dégrade au lieu de planter
  5. Mise en place de redémarrages échelonnés, réplicas puis maître, pour éviter tout risque lié au basculement
  6. Évaluation de Valkey comme voie supportée à long terme, avec un déploiement piloté par feature flags

Résultat obtenu

La croissance mémoire a cessé d'être un incident. Le cluster est resté stable entre les fenêtres de maintenance, l'équipe dispose d'une procédure d'atténuation documentée qu'elle peut appliquer elle-même, et la migration vers Valkey s'est déroulée comme un changement planifié et non comme une urgence.

Technologies

ValkeyRedisKubernetes

Confronté à un incident de production Valkey ?

Les ingénieurs Valkey seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.