Retour à tous les cas d'usage

SupportSecteur public / défense

Des deadlocks du registre qui n'apparaissent que lorsque tout redémarre en même temps

Agence de services publics

Résoudre les deadlocks de la base de données du registre sous charge concurrente, qui bloquaient par intermittence le déploiement des API WSO2 et le démarrage des gateways.

Présentation

Les produits WSO2 s'appuient fortement sur des bases de données partagées de registre et de configuration. Sous écritures concurrentes — un redémarrage coordonné, un déploiement d'API en masse, une synchronisation importante du user store —, la contention de verrous sur ces tables peut provoquer des deadlocks, et le symptôme visible est un nœud qui n'arrive pas au bout de son démarrage.

Défi

Après un redémarrage de maintenance planifié, des nœuds gateway échouaient par intermittence à terminer leur démarrage, et les déploiements d'API en masse se figeaient en cours de route. Les logs de la base de données montraient des deadlocks sur les tables du registre. Le pool de connexions était dimensionné bien au-delà de ce que la base était configurée pour accepter, si bien que les tempêtes de retries au démarrage aggravaient la contention au lieu de la résorber.

Environnement

WSO2 API Manager et WSO2 Identity Server on-premise, partageant les bases de registre et de user store sur PostgreSQL, déployés sur plusieurs nœuds.

Approche

AceMQ a corrélé les séquences de démarrage des nœuds avec les logs de deadlock de la base pour identifier précisément les tables en contention et les opérations en cause. Nous avons ensuite échelonné le démarrage des nœuds, corrigé le dimensionnement des pools au regard des limites réelles de la base, et fait passer le déploiement en masse à une séquence contrôlée plutôt qu'à une rafale parallèle. AceMQ fournit des ingénieurs seniors attitrés avec une couverture 24/7, sans niveau 1 de tri.

Solution

  1. Corrélation des séquences de démarrage avec les logs de deadlock de la base pour identifier les tables du registre en contention
  2. Redimensionnement des pools de connexions au regard de la limite maximale réelle de connexions de la base
  3. Échelonnement du démarrage des nœuds pour qu'ils n'initialisent pas tous l'état du registre simultanément
  4. Sérialisation des opérations de déploiement d'API en masse au lieu de les lancer en parallèle
  5. Réglage des timeouts de verrou et de requête côté base pour que la contention échoue rapidement au lieu de se figer
  6. Documentation d'une procédure de redémarrage de maintenance qui évite de réintroduire la contention

Résultat obtenu

Les redémarrages de maintenance aboutissent de façon fiable et les déploiements d'API en masse se terminent sans se figer. Les deadlocks sur les tables du registre n'apparaissent plus dans les logs de la base de données.

Technologies

WSO2PostgreSQLKubernetesDocker

Besoin d'un support WSO2 expert ?

Les ingénieurs WSO2 seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.