Présentation
Un fournisseur d'analytique de santé exploitait une seule instance Redis contenant à la fois des entrées de cache et l'état des sessions utilisateur. Sous pression mémoire, la politique d'éviction supprimait des clés sans distinguer celles qui étaient jetables : les utilisateurs étaient déconnectés en plein parcours. AceMQ a repris le support Redis avec des ingénieurs seniors attitrés.
Défi
Mélanger données de cache et de session dans un même espace de clés, sous une politique d'éviction unique, revient à faire un choix forcément mauvais pour l'une des deux charges. Pire, de nombreuses clés de cache n'avaient aucun TTL : une politique d'éviction volatile n'avait donc rien d'éligible à évincer, et l'instance renvoyait des erreurs de mémoire insuffisante (out of memory). Les indicateurs mémoire étaient en outre mal interprétés, la fragmentation étant prise pour une croissance des données.
Environnement
Redis sur Azure, pour l'état des sessions et la mise en cache des résultats de requêtes d'une application d'analytique clinique.
Approche
AceMQ a d'abord séparé les charges de travail, puisqu'aucune politique d'éviction ne convient aux deux, puis a corrigé la configuration des TTL et de la politique pour chacune. Les indicateurs mémoire ont été clarifiés pour que l'équipe d'exploitation puisse distinguer croissance des données, fragmentation et utilisation des buffers de réplication.
Solution
- Séparation de l'état des sessions et du cache dans des instances distinctes, avec une politique adaptée à chaque charge
- Application systématique de TTL aux clés de cache, pour que les politiques d'éviction volatiles disposent de candidats éligibles
- Réglage de maxmemory et de la politique d'éviction par instance, d'après le working set mesuré plutôt que la mémoire de l'hôte
- Clarification des indicateurs mémoire pour lire correctement fragmentation, données et buffers de réplication
- Identification et correction des schémas de clés à l'origine d'une croissance illimitée de l'espace de clés du cache
- Mise en place d'une escalade 24/7 vers des ingénieurs Redis seniors, avec des objectifs de réponse à partir de 15 minutes, selon le plan
Résultat obtenu
Les pertes de session sous pression mémoire ont totalement cessé, et les erreurs de mémoire insuffisante ont disparu dès que l'éviction a disposé de candidats éligibles. L'équipe du client lit désormais correctement les métriques mémoire et agit sur la croissance avant qu'elle ne devienne un incident.