Descripción general
Los productos de WSO2 dependen en gran medida de bases de datos compartidas de registry y de configuración. Con escrituras concurrentes (un reinicio coordinado, un despliegue masivo de APIs, una sincronización grande del user store), la contención de bloqueos en esas tablas puede provocar deadlocks, y el síntoma visible es un nodo que no termina de arrancar.
Desafío
Tras un reinicio de mantenimiento planificado, los nodos gateway no lograban completar el arranque de forma intermitente y los despliegues masivos de APIs se quedaban colgados a mitad de camino. Los logs de la base de datos mostraban deadlocks en las tablas del registry. El pool de conexiones estaba dimensionado muy por encima de lo que la base de datos tenía configurado para aceptar, así que las tormentas de reintentos durante el arranque empeoraban la contención en lugar de aliviarla.
Entorno
WSO2 API Manager y Identity Server on-premises, con bases de datos de registry y user store compartidas en PostgreSQL, desplegados en varios nodos.
Enfoque
AceMQ correlacionó las secuencias de arranque de los nodos con los logs de deadlocks de la base de datos para identificar las tablas en contención y las operaciones involucradas. Luego escalonamos el arranque de los nodos, corregimos el tamaño de los pools según los límites reales de la base de datos y pasamos el despliegue masivo a una secuencia controlada en lugar de una ráfaga en paralelo. AceMQ ofrece ingenieros sénior asignados con cobertura 24/7 y sin capa de triaje de nivel 1.
Solución
- Correlación de las secuencias de arranque con los logs de deadlocks de la base de datos para identificar las tablas del registry en contención
- Ajuste del tamaño de los pools de conexiones según el límite máximo real de conexiones de la base de datos
- Arranque escalonado de los nodos para que no inicialicen todos el estado del registry al mismo tiempo
- Serialización de las operaciones de despliegue masivo de APIs en lugar de ejecutarlas en paralelo
- Ajuste de los timeouts de bloqueo y de sentencias en la base de datos para que la contención falle rápido en lugar de quedarse colgada
- Documentación de un procedimiento de reinicio de mantenimiento que evita volver a introducir la contención
Resultado final
Los reinicios de mantenimiento se completan de forma confiable y los despliegues masivos de APIs terminan sin colgarse. Los deadlocks en las tablas del registry ya no aparecen en los logs de la base de datos.