Descripción general
Una plataforma de pagos empezó a sufrir bloqueos de varios segundos en escrituras que antes se completaban en milisegundos de un solo dígito. Las métricas del servidor mostraban la caché de WiredTiger clavada en el umbral de eviction y a los hilos de la aplicación reclutados para desalojar páginas. Los ingenieros de AceMQ intervinieron bajo objetivos de respuesta desde 15 minutos, según el plan, y trabajaron el incidente junto con el equipo de DBA del cliente.
Reto
El working set había crecido por encima de la caché asignada a WiredTiger, así que los fallos de lectura obligaban a desalojar páginas sucias en la ruta crítica. En cuanto los hilos de la aplicación empezaron a participar en la eviction, la latencia se disparó de forma no lineal y los pools de conexiones se saturaron aguas arriba. El equipo lo había tratado como un problema de red porque el síntoma aparecía como timeouts en el lado del cliente y no como consultas lentas.
Entorno
Replica sets de MongoDB en bare metal, como respaldo de un servicio de autorización de transacciones de gran volumen.
Enfoque
AceMQ correlacionó los contadores de eviction de serverStatus, el porcentaje de páginas sucias en caché y la duración de los checkpoints con el histograma de latencia de la aplicación para confirmar que la causa raíz era la eviction y no el disco ni la red. A partir de ahí, el trabajo se dividió entre un alivio inmediato de la presión y correcciones duraderas en los índices y en el tamaño de los documentos para que el working set volviera a caber en la caché.
Solución
- Correlación de los contadores de eviction de WiredTiger, el ratio de páginas sucias en caché y la duración de los checkpoints con la latencia del lado del cliente para aislar el cuello de botella real
- Reajuste de cacheSizeGB según la memoria real del host y los límites del contenedor, en lugar de la regla por defecto de la mitad de la RAM
- Identificación y eliminación de índices compuestos redundantes que consumían caché sin dar servicio a ninguna forma de consulta
- Rediseño de las dos colecciones más pesadas para reducir el tamaño de los documentos y eliminar el crecimiento ilimitado de arrays
- Incorporación de la presión de eviction, el porcentaje de páginas sucias en caché y la duración de los checkpoints a la línea base de alertas, para detectar la situación antes de que llegue a los hilos de la aplicación
Resultado final
La eviction volvió a los hilos en segundo plano y la latencia de escritura regresó a su rango normal, lo que eliminó por completo los timeouts de los clientes. El cliente cuenta ahora con una señal de alerta temprana de presión en la caché y un modelo de dimensionamiento documentado para el crecimiento futuro de los datos.