Retour à tous les cas d'usage

SupportLogiciels / plateformes numériques

Tenir le choc quand le cache se vide

Plateforme de médias numériques

Support continu d'une couche Memcached sujette à des afflux massifs de requêtes vers la base de données après des changements de nœuds et des expirations en masse.

Présentation

Une plateforme de médias numériques subissait des pannes de base de données à chaque remplacement d'un nœud Memcached ou chaque fois qu'un grand lot de clés expirait en même temps. AceMQ assure un support continu qui couvre la couche de cache et les patterns applicatifs qui l'entourent.

Défi

La perte d'un nœud dans un anneau de hachage cohérent redistribue sa part de clés, et toutes les clés redistribuées produisent un miss au même moment. Faute de protection contre la régénération concurrente, des milliers de requêtes recalculaient simultanément la même valeur coûteuse et saturaient la base de données. Le même phénomène se produisait lors des expirations en masse : les clés alimentées ensemble pendant un déploiement partageaient un TTL identique et expiraient donc ensemble. La maintenance courante des nœuds était devenue un problème d'approbation des changements.

Environnement

Couche Memcached sur AWS placée devant une base de données relationnelle, serveurs d'applications sur Kubernetes avec des déploiements fréquents.

Approche

Le support porte ici à la fois sur le cache et sur les patterns applicatifs qui l'utilisent, car la protection contre les stampedes relève de l'application et le cache seul ne peut pas la garantir. Nous travaillons avec les ingénieurs du client sur la coalescence des requêtes et la gigue des TTL, et faisons des changements de topologie des nœuds une opération maîtrisée plutôt qu'un événement.

Solution

  1. Support 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, et ingénieurs seniors attitrés qui connaissent la topologie du cache et ses consommateurs
  2. Ajout d'une coalescence des requêtes au niveau applicatif pour qu'un seul appelant régénère une valeur manquante pendant que les autres attendent
  3. Application d'une gigue aux TTL pour que les clés alimentées ensemble n'expirent pas ensemble en provoquant une expiration en masse
  4. Revue de la configuration du hachage cohérent pour que les changements de nœuds redistribuent la plus petite part de clés possible
  5. Procédure maîtrisée d'ajout et de retrait de nœuds avec préchauffage, en remplacement des remplacements non planifiés
  6. Supervision par nœud du taux de succès, des évictions et des get-miss pour repérer un nœud qui se dégrade avant de le perdre

Résultat obtenu

Le remplacement d'un nœud ne provoque plus de pic de charge sur la base de données, et les expirations en masse ont disparu dès l'application de la gigue des TTL. La maintenance du cache est passée du statut d'événement soumis à approbation à celui d'opération courante.

Technologies

MemcachedLinuxPostgreSQLKubernetes

Besoin d'un support Memcached expert ?

Les ingénieurs Memcached seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.