Torna a tutti i casi d'uso

SupportoPubblica amministrazione / Difesa

Deadlock del registry che emergono solo quando tutto si riavvia nello stesso momento

Agenzia per i servizi pubblici

Risoluzione dei deadlock sul database del registry sotto carico concorrente, che bloccavano a intermittenza il deployment delle API WSO2 e l'avvio dei gateway.

Panoramica

I prodotti WSO2 si appoggiano in larga misura a database condivisi di registry e configurazione. Con scritture concorrenti (un riavvio coordinato, un deployment massivo di API, una sincronizzazione estesa dello user store) la contesa sui lock in quelle tabelle può sfociare in deadlock, e il sintomo visibile è un nodo che non riesce a completare l'avvio.

Sfida

Dopo un riavvio di manutenzione pianificato, i nodi gateway a intermittenza non completavano l'avvio e i deployment massivi di API si bloccavano a metà. I log del database mostravano deadlock sulle tabelle del registry. Il connection pool era dimensionato ben oltre il numero di connessioni che il database era configurato per accettare, quindi le ondate di retry durante l'avvio aggravavano la contesa invece di attenuarla.

Ambiente

WSO2 API Manager e Identity Server on-premises, con database di registry e user store condivisi su PostgreSQL, distribuiti su più nodi.

Approccio

AceMQ ha messo in correlazione le sequenze di avvio dei nodi con i log dei deadlock del database per individuare le tabelle contese e le operazioni coinvolte. Abbiamo quindi scaglionato l'avvio dei nodi, corretto il dimensionamento dei pool in base ai limiti effettivi del database e trasformato il deployment massivo in una sequenza controllata anziché in una raffica parallela. AceMQ mette a disposizione ingegneri senior dedicati con copertura 24/7 e senza un livello di triage tier 1.

Soluzione

  1. Correlazione delle sequenze di avvio con i log dei deadlock del database per individuare le tabelle del registry contese
  2. Ridimensionamento dei connection pool in base al limite massimo di connessioni effettivo del database
  3. Avvio scaglionato dei nodi, in modo che non inizializzino tutti contemporaneamente lo stato del registry
  4. Serializzazione delle operazioni di deployment massivo delle API invece dell'esecuzione in parallelo
  5. Taratura dei timeout di lock e di statement lato database, così che la contesa fallisca subito invece di restare in sospeso
  6. Documentazione di una procedura di riavvio di manutenzione che evita di reintrodurre la contesa

Esito

I riavvii di manutenzione si completano in modo affidabile e i deployment massivi di API terminano senza bloccarsi. I deadlock sulle tabelle del registry non compaiono più nei log del database.

Tecnologie

WSO2PostgreSQLKubernetesDocker

Vi serve supporto specialistico per WSO2?

Gli ingegneri WSO2 senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.