Retour à tous les cas d'usage

RemédiationServices financiers / paiements

Stopper l'emballement de l'éviction WiredTiger avant qu'il ne bloque la couche applicative

Processeur de paiements international

Diagnostiquer et résoudre les blocages applicatifs causés par un working set devenu plus grand que le cache WiredTiger, qui maintenait le serveur sous une pression d'éviction permanente.

Présentation

Une plateforme de paiement a commencé à subir des blocages de plusieurs secondes sur des écritures qui s'exécutaient jusque-là en quelques millisecondes. Les métriques serveur montraient le cache WiredTiger bloqué au seuil de déclenchement de l'éviction, avec des threads applicatifs mobilisés pour évincer des pages. Les ingénieurs AceMQ ont été sollicités dans le cadre des objectifs de réponse à partir de 15 minutes, selon le plan, et ont traité l'incident avec l'équipe DBA du client.

Défi

Le working set avait dépassé l'allocation du cache WiredTiger, si bien que les défauts de cache en lecture imposaient l'éviction de pages modifiées sur le chemin critique. Dès que les threads applicatifs ont commencé à participer à l'éviction, la latence a explosé de façon non linéaire et les pools de connexions ont saturé en amont. L'équipe traitait le problème comme un problème réseau, parce que le symptôme se manifestait par des timeouts côté client plutôt que par des requêtes lentes.

Environnement

Replica sets MongoDB sur bare metal, au service d'un système d'autorisation de transactions à fort volume.

Approche

AceMQ a corrélé les compteurs d'éviction de serverStatus, le pourcentage de pages modifiées dans le cache et la durée des checkpoints avec l'histogramme de latence applicative, pour confirmer que l'éviction était la cause racine plutôt que le disque ou le réseau. Le travail s'est ensuite divisé entre un soulagement immédiat de la pression et des corrections durables de l'empreinte des index et des documents, afin que le working set tienne de nouveau dans le cache.

Solution

  1. Corrélation des compteurs d'éviction WiredTiger, du ratio de pages modifiées dans le cache et de la durée des checkpoints avec la latence côté client pour isoler le véritable goulet d'étranglement
  2. Réglage de cacheSizeGB en fonction de la mémoire réelle de l'hôte et des limites du conteneur, au lieu de l'heuristique par défaut de la moitié de la RAM
  3. Identification et suppression d'index composés redondants qui consommaient du cache sans servir aucune forme de requête
  4. Refonte des deux collections les plus lourdes pour réduire la taille des documents et éliminer la croissance non bornée des tableaux
  5. Ajout de la pression d'éviction, du pourcentage de pages modifiées dans le cache et de la durée des checkpoints à la base d'alerting, pour détecter le problème avant qu'il n'atteigne les threads applicatifs

Résultat obtenu

L'éviction est revenue aux threads d'arrière-plan et la latence d'écriture est repassée dans sa plage normale, ce qui a fait disparaître entièrement les timeouts côté client. Le client dispose désormais d'un signal d'alerte précoce sur la pression du cache et d'un modèle de dimensionnement documenté pour la croissance future des données.

Technologies

MongoDBKubernetesPrometheusLinux

Confronté à un incident de production MongoDB ?

Les ingénieurs MongoDB seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.