Volver a todos los casos de uso

RemediaciónServicios financieros / Pagos

Frenar el thrashing de desalojo de WiredTiger antes de que paralice la capa de aplicación

Procesador global de pagos

Diagnóstico y resolución de bloqueos de la aplicación causados por un working set que superó la caché de WiredTiger y sometió al servidor a una presión de desalojo continua.

Descripción general

Una plataforma de pagos empezó a registrar bloqueos de varios segundos en escrituras que antes se completaban en milisegundos de un dígito. Las métricas del servidor mostraban la caché de WiredTiger clavada en el umbral de desalojo, con hilos de la aplicación reclutados para desalojar páginas. Los ingenieros de AceMQ intervinieron bajo los objetivos de respuesta desde 15 minutos, según el plan, y trabajaron el incidente junto con el equipo de DBA del cliente.

Desafío

El working set había crecido más allá de la asignación de caché de WiredTiger, así que los fallos de lectura forzaban el desalojo de páginas sucias en la ruta crítica. Cuando los hilos de la aplicación empezaron a participar en el desalojo, la latencia se disparó de forma no lineal y los pools de conexiones se saturaron aguas arriba. El equipo lo había tratado como un problema de red porque el síntoma aparecía como timeouts del lado del cliente y no como consultas lentas.

Entorno

Replica sets de MongoDB en bare metal, como respaldo de un servicio de autorización de transacciones de alto volumen.

Enfoque

AceMQ correlacionó los contadores de desalojo de serverStatus, el porcentaje de páginas sucias en caché y la duración de los checkpoints con el histograma de latencia de la aplicación para confirmar que la causa raíz era el desalojo y no el disco ni la red. A partir de ahí, el trabajo se dividió en un alivio inmediato de la presión y en correcciones duraderas del tamaño de los índices y los documentos, para que el working set volviera a caber en la caché.

Solución

  1. Correlación de los contadores de desalojo de WiredTiger, la proporción de páginas sucias en caché y la duración de los checkpoints con la latencia del lado del cliente para aislar el verdadero cuello de botella
  2. Reajuste de cacheSizeGB según la memoria real del host y los límites del contenedor, en lugar de la heurística predeterminada de la mitad de la RAM
  3. Identificación y eliminación de índices compuestos redundantes que consumían caché sin atender ninguna forma de consulta
  4. Rediseño de las dos colecciones más pesadas para reducir el tamaño de los documentos y eliminar el crecimiento ilimitado de arrays
  5. Incorporación de la presión de desalojo, el porcentaje de páginas sucias en caché y la duración de los checkpoints a la línea base de alertas para detectar la condición antes de que llegue a los hilos de la aplicación

Resultado final

El desalojo volvió a los hilos en segundo plano y la latencia de escritura regresó a su rango normal, lo que eliminó por completo los timeouts del cliente. El cliente cuenta ahora con una señal de alerta temprana para la presión de caché y con un modelo de dimensionamiento documentado para el crecimiento futuro de los datos.

Tecnologías

MongoDBKubernetesPrometheusLinux

¿Enfrenta un problema de MongoDB en producción?

Los ingenieros sénior de MongoDB de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.