Présentation
Une plateforme de paiement a commencé à subir des blocages de plusieurs secondes sur des écritures qui s'exécutaient jusque-là en quelques millisecondes. Les métriques serveur montraient le cache WiredTiger bloqué au seuil de déclenchement de l'éviction, avec des threads applicatifs mobilisés pour évincer des pages. Les ingénieurs AceMQ ont été sollicités dans le cadre des objectifs de réponse à partir de 15 minutes, selon le plan, et ont traité l'incident avec l'équipe DBA du client.
Défi
Le working set avait dépassé l'allocation du cache WiredTiger, si bien que les défauts de cache en lecture imposaient l'éviction de pages modifiées sur le chemin critique. Dès que les threads applicatifs ont commencé à participer à l'éviction, la latence a explosé de façon non linéaire et les pools de connexions ont saturé en amont. L'équipe traitait le problème comme un problème réseau, parce que le symptôme se manifestait par des timeouts côté client plutôt que par des requêtes lentes.
Environnement
Replica sets MongoDB sur bare metal, au service d'un système d'autorisation de transactions à fort volume.
Approche
AceMQ a corrélé les compteurs d'éviction de serverStatus, le pourcentage de pages modifiées dans le cache et la durée des checkpoints avec l'histogramme de latence applicative, pour confirmer que l'éviction était la cause racine plutôt que le disque ou le réseau. Le travail s'est ensuite divisé entre un soulagement immédiat de la pression et des corrections durables de l'empreinte des index et des documents, afin que le working set tienne de nouveau dans le cache.
Solution
- Corrélation des compteurs d'éviction WiredTiger, du ratio de pages modifiées dans le cache et de la durée des checkpoints avec la latence côté client pour isoler le véritable goulet d'étranglement
- Réglage de cacheSizeGB en fonction de la mémoire réelle de l'hôte et des limites du conteneur, au lieu de l'heuristique par défaut de la moitié de la RAM
- Identification et suppression d'index composés redondants qui consommaient du cache sans servir aucune forme de requête
- Refonte des deux collections les plus lourdes pour réduire la taille des documents et éliminer la croissance non bornée des tableaux
- Ajout de la pression d'éviction, du pourcentage de pages modifiées dans le cache et de la durée des checkpoints à la base d'alerting, pour détecter le problème avant qu'il n'atteigne les threads applicatifs
Résultat obtenu
L'éviction est revenue aux threads d'arrière-plan et la latence d'écriture est repassée dans sa plage normale, ce qui a fait disparaître entièrement les timeouts côté client. Le client dispose désormais d'un signal d'alerte précoce sur la pression du cache et d'un modèle de dimensionnement documenté pour la croissance future des données.