Volver a todos los casos de uso

RemediaciónServicios financieros / Pagos

Frenar el thrashing de eviction de WiredTiger antes de que bloquee la capa de aplicación

Procesador de pagos global

Diagnóstico y resolución de bloqueos de la aplicación causados por un working set que había superado la caché de WiredTiger y sometía al servidor a una presión de eviction continua.

Descripción general

Una plataforma de pagos empezó a sufrir bloqueos de varios segundos en escrituras que antes se completaban en milisegundos de un solo dígito. Las métricas del servidor mostraban la caché de WiredTiger clavada en el umbral de eviction y a los hilos de la aplicación reclutados para desalojar páginas. Los ingenieros de AceMQ intervinieron bajo objetivos de respuesta desde 15 minutos, según el plan, y trabajaron el incidente junto con el equipo de DBA del cliente.

Reto

El working set había crecido por encima de la caché asignada a WiredTiger, así que los fallos de lectura obligaban a desalojar páginas sucias en la ruta crítica. En cuanto los hilos de la aplicación empezaron a participar en la eviction, la latencia se disparó de forma no lineal y los pools de conexiones se saturaron aguas arriba. El equipo lo había tratado como un problema de red porque el síntoma aparecía como timeouts en el lado del cliente y no como consultas lentas.

Entorno

Replica sets de MongoDB en bare metal, como respaldo de un servicio de autorización de transacciones de gran volumen.

Enfoque

AceMQ correlacionó los contadores de eviction de serverStatus, el porcentaje de páginas sucias en caché y la duración de los checkpoints con el histograma de latencia de la aplicación para confirmar que la causa raíz era la eviction y no el disco ni la red. A partir de ahí, el trabajo se dividió entre un alivio inmediato de la presión y correcciones duraderas en los índices y en el tamaño de los documentos para que el working set volviera a caber en la caché.

Solución

  1. Correlación de los contadores de eviction de WiredTiger, el ratio de páginas sucias en caché y la duración de los checkpoints con la latencia del lado del cliente para aislar el cuello de botella real
  2. Reajuste de cacheSizeGB según la memoria real del host y los límites del contenedor, en lugar de la regla por defecto de la mitad de la RAM
  3. Identificación y eliminación de índices compuestos redundantes que consumían caché sin dar servicio a ninguna forma de consulta
  4. Rediseño de las dos colecciones más pesadas para reducir el tamaño de los documentos y eliminar el crecimiento ilimitado de arrays
  5. Incorporación de la presión de eviction, el porcentaje de páginas sucias en caché y la duración de los checkpoints a la línea base de alertas, para detectar la situación antes de que llegue a los hilos de la aplicación

Resultado final

La eviction volvió a los hilos en segundo plano y la latencia de escritura regresó a su rango normal, lo que eliminó por completo los timeouts de los clientes. El cliente cuenta ahora con una señal de alerta temprana de presión en la caché y un modelo de dimensionamiento documentado para el crecimiento futuro de los datos.

Tecnologías

MongoDBKubernetesPrometheusLinux

¿Se enfrenta a un problema de MongoDB en producción?

Los ingenieros sénior de MongoDB de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.