Retour à tous les cas d'usage

RemédiationLogiciels / plateformes numériques

Trouver le pic de latence qui n'apparaît que dans le p99.9

Plateforme d'enchères en temps réel

Élimination de pics de latence périodiques de plusieurs centaines de millisecondes, causés par des blocages de fork lors des snapshots RDB et amplifiés par les transparent huge pages.

Présentation

Une plateforme d'enchères fonctionnait avec un budget de latence strict par requête et perdait des enchères sur timeout selon un cycle périodique. La latence moyenne de Redis semblait correcte ; le p99.9 montrait des pics de plusieurs centaines de millisecondes survenant à intervalles réguliers. AceMQ a été sollicité dans le cadre du SLA d'urgence.

Défi

L'intervalle des pics correspondait au calendrier des snapshots RDB. Le fork d'un processus Redis volumineux copie les tables de pages, et avec les transparent huge pages activées, le coût du copy-on-write après le fork était démultiplié : chaque écriture sur une huge page partagée forçait la copie de deux mégaoctets au lieu de quatre kilo-octets. L'effet était invisible dans la latence moyenne et n'apparaissait que dans la traîne, là où se jouait cette charge de travail.

Environnement

Redis sur des hôtes Linux bare metal servant des décisions d'enchères en temps réel sous un budget de latence strict.

Approche

AceMQ a corrélé les horodatages des pics avec la durée des forks relevée dans les logs Redis et avec les statistiques mémoire du noyau, afin de confirmer le mécanisme plutôt que de le supposer. Les correctifs ont porté sur la configuration des hôtes, la stratégie de persistance et l'empreinte mémoire qui rendait chaque fork coûteux.

Solution

  1. Corrélation des pics de latence de traîne avec la durée des forks journalisée et les statistiques mémoire du noyau pour confirmer le mécanisme
  2. Désactivation des transparent huge pages sur les hôtes Redis et validation de l'effet sur le coût des forks
  3. Transfert des snapshots vers les réplicas pour que le primaire ne forke plus sur le chemin de service
  4. Revue de la stratégie de persistance et des seuils de réécriture au regard des exigences de durabilité réelles de la plateforme
  5. Réduction de l'empreinte mémoire par instance grâce à des changements de structure des clés, pour que tout fork restant coûte moins cher
  6. Instrumentation des percentiles de latence de traîne et de la durée des forks comme signaux surveillés à part entière

Résultat obtenu

Les pics périodiques de traîne ont disparu et la latence p99.9 est revenue dans le budget de la plateforme. Les timeouts d'enchères imputables à la couche de cache ont cessé.

Technologies

RedisLinuxKubernetesPrometheus

Confronté à un incident de production Redis ?

Les ingénieurs Redis seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.