Volver a todos los casos de uso

SoporteAdministración pública / Defensa

Deadlocks en el registry que solo aparecen cuando todo se reinicia a la vez

Agencia de servicios públicos

Resolución de deadlocks en la base de datos del registry bajo carga concurrente, que bloqueaban de forma intermitente el despliegue de APIs y el arranque de los gateways de WSO2.

Descripción general

Los productos de WSO2 dependen en gran medida de bases de datos compartidas de registry y de configuración. Con escrituras concurrentes (un reinicio coordinado, un despliegue masivo de APIs, una sincronización grande del user store), la contención de bloqueos en esas tablas puede acabar en deadlock, y el síntoma visible es un nodo que no termina de arrancar.

Reto

Tras un reinicio de mantenimiento planificado, los nodos gateway fallaban de forma intermitente al completar el arranque y los despliegues masivos de APIs se quedaban colgados a medias. Los logs de la base de datos mostraban deadlocks en las tablas del registry. El pool de conexiones estaba dimensionado muy por encima de lo que la base de datos estaba configurada para aceptar, así que las avalanchas de reintentos durante el arranque empeoraban la contención en lugar de aliviarla.

Entorno

WSO2 API Manager y WSO2 Identity Server on-premise, con bases de datos de registry y de user store compartidas en PostgreSQL, desplegados en varios nodos.

Enfoque

AceMQ correlacionó las secuencias de arranque de los nodos con los logs de deadlocks de la base de datos para identificar las tablas concretas en contención y las operaciones implicadas. Después escalonamos el arranque de los nodos, corregimos el tamaño de los pools según los límites reales de la base de datos y pasamos el despliegue masivo a una secuencia controlada en lugar de una ráfaga en paralelo. AceMQ ofrece ingenieros sénior asignados con cobertura 24/7 y sin capa de triaje de nivel 1.

Solución

  1. Correlación de las secuencias de arranque con los logs de deadlocks de la base de datos para identificar las tablas del registry en contención
  2. Ajuste del tamaño de los pools de conexiones al límite máximo real de conexiones de la base de datos
  3. Arranque escalonado de los nodos para que no inicialicen todos a la vez el estado del registry
  4. Serialización de las operaciones de despliegue masivo de APIs en lugar de lanzarlas en paralelo
  5. Ajuste de los timeouts de bloqueo y de sentencia en la base de datos para que la contención falle rápido en lugar de quedarse colgada
  6. Documentación de un procedimiento de reinicio de mantenimiento que evita reintroducir la contención

Resultado final

Los reinicios de mantenimiento se completan de forma fiable y los despliegues masivos de APIs terminan sin quedarse colgados. Los deadlocks en las tablas del registry han desaparecido de los logs de la base de datos.

Tecnologías

WSO2PostgreSQLKubernetesDocker

¿Necesita soporte experto de WSO2?

Los ingenieros sénior de WSO2 de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.