Présentation
Un processeur de paiements avait fait grossir une instance Redis autonome jusqu'au plus gros hôte disponible et n'avait plus aucune marge. Le passage au mode Cluster était la réponse évidente, mais l'application utilisait des opérations multi-clés et des scripts Lua qui supposent que toutes les clés résident sur un seul nœud. AceMQ a planifié et validé la migration.
Défi
Le mode Cluster rejette les opérations multi-clés dont les clés sont hachées vers des slots différents. Retrouver chacune de ces opérations dans une base de code importante est plus difficile qu'il n'y paraît, car beaucoup sont construites dynamiquement. Les hash tags permettent de forcer des clés liées sur le même slot, mais en abuser recrée le problème de nœud surchargé que la migration est censée résoudre.
Environnement
Redis sur Kubernetes, utilisé pour la déduplication des transactions, le rate limiting et le stockage des clés d'idempotence.
Approche
AceMQ a inventorié le mix de commandes réel à partir du trafic en production plutôt que par la seule revue du code, ce qui a fait apparaître des opérations multi-clés construites dynamiquement que l'analyse statique n'avait pas détectées. La conception des hash tags a ensuite été volontairement limitée pour préserver la répartition des slots, et la migration a été menée par étapes avec une validation en double lecture.
Solution
- Inventaire du mix de commandes en production pour repérer les opérations multi-clés et les scripts que la revue statique du code avait manqués
- Conception de hash tags au périmètre suffisamment restreint pour préserver la répartition des slots tout en gardant les clés liées au même endroit
- Réécriture des opérations qui ne pouvaient pas être regroupées, pour qu'elles fonctionnent entre slots sans perte de cohérence
- Validation de la prise en charge du mode cluster et de la gestion des redirections par les bibliothèques clientes, avant tout changement d'infrastructure
- Conception d'une migration par étapes avec validation en double lecture et point de retour arrière défini à chaque phase
- Modélisation de la répartition des slots et de la charge par nœud à partir des schémas de clés de production, avant de s'engager sur la topologie
Résultat obtenu
Le processeur est passé en mode Cluster et dispose désormais d'une marge horizontale au lieu d'un plafond vertical ; la répartition des slots reste équilibrée avec les schémas de clés de production. Les opérations multi-clés qui auraient échoué silencieusement ont été repérées et corrigées avant la bascule.