Panoramica
I prodotti WSO2 si appoggiano in larga misura a database condivisi di registry e configurazione. Con scritture concorrenti (un riavvio coordinato, un deployment massivo di API, una sincronizzazione estesa dello user store) la contesa sui lock in quelle tabelle può sfociare in deadlock, e il sintomo visibile è un nodo che non riesce a completare l'avvio.
Sfida
Dopo un riavvio di manutenzione pianificato, i nodi gateway a intermittenza non completavano l'avvio e i deployment massivi di API si bloccavano a metà. I log del database mostravano deadlock sulle tabelle del registry. Il connection pool era dimensionato ben oltre il numero di connessioni che il database era configurato per accettare, quindi le ondate di retry durante l'avvio aggravavano la contesa invece di attenuarla.
Ambiente
WSO2 API Manager e Identity Server on-premises, con database di registry e user store condivisi su PostgreSQL, distribuiti su più nodi.
Approccio
AceMQ ha messo in correlazione le sequenze di avvio dei nodi con i log dei deadlock del database per individuare le tabelle contese e le operazioni coinvolte. Abbiamo quindi scaglionato l'avvio dei nodi, corretto il dimensionamento dei pool in base ai limiti effettivi del database e trasformato il deployment massivo in una sequenza controllata anziché in una raffica parallela. AceMQ mette a disposizione ingegneri senior dedicati con copertura 24/7 e senza un livello di triage tier 1.
Soluzione
- Correlazione delle sequenze di avvio con i log dei deadlock del database per individuare le tabelle del registry contese
- Ridimensionamento dei connection pool in base al limite massimo di connessioni effettivo del database
- Avvio scaglionato dei nodi, in modo che non inizializzino tutti contemporaneamente lo stato del registry
- Serializzazione delle operazioni di deployment massivo delle API invece dell'esecuzione in parallelo
- Taratura dei timeout di lock e di statement lato database, così che la contesa fallisca subito invece di restare in sospeso
- Documentazione di una procedura di riavvio di manutenzione che evita di reintrodurre la contesa
Esito
I riavvii di manutenzione si completano in modo affidabile e i deployment massivi di API terminano senza bloccarsi. I deadlock sulle tabelle del registry non compaiono più nei log del database.