Présentation
Les produits WSO2 s'appuient fortement sur des bases de données partagées de registre et de configuration. Sous écritures concurrentes — un redémarrage coordonné, un déploiement d'API en masse, une synchronisation importante du user store —, la contention de verrous sur ces tables peut provoquer des deadlocks, et le symptôme visible est un nœud qui n'arrive pas au bout de son démarrage.
Défi
Après un redémarrage de maintenance planifié, des nœuds gateway échouaient par intermittence à terminer leur démarrage, et les déploiements d'API en masse se figeaient en cours de route. Les logs de la base de données montraient des deadlocks sur les tables du registre. Le pool de connexions était dimensionné bien au-delà de ce que la base était configurée pour accepter, si bien que les tempêtes de retries au démarrage aggravaient la contention au lieu de la résorber.
Environnement
WSO2 API Manager et WSO2 Identity Server on-premise, partageant les bases de registre et de user store sur PostgreSQL, déployés sur plusieurs nœuds.
Approche
AceMQ a corrélé les séquences de démarrage des nœuds avec les logs de deadlock de la base pour identifier précisément les tables en contention et les opérations en cause. Nous avons ensuite échelonné le démarrage des nœuds, corrigé le dimensionnement des pools au regard des limites réelles de la base, et fait passer le déploiement en masse à une séquence contrôlée plutôt qu'à une rafale parallèle. AceMQ fournit des ingénieurs seniors attitrés avec une couverture 24/7, sans niveau 1 de tri.
Solution
- Corrélation des séquences de démarrage avec les logs de deadlock de la base pour identifier les tables du registre en contention
- Redimensionnement des pools de connexions au regard de la limite maximale réelle de connexions de la base
- Échelonnement du démarrage des nœuds pour qu'ils n'initialisent pas tous l'état du registre simultanément
- Sérialisation des opérations de déploiement d'API en masse au lieu de les lancer en parallèle
- Réglage des timeouts de verrou et de requête côté base pour que la contention échoue rapidement au lieu de se figer
- Documentation d'une procédure de redémarrage de maintenance qui évite de réintroduire la contention
Résultat obtenu
Les redémarrages de maintenance aboutissent de façon fiable et les déploiements d'API en masse se terminent sans se figer. Les deadlocks sur les tables du registre n'apparaissent plus dans les logs de la base de données.