Visão geral
Os produtos WSO2 dependem muito de bancos de dados compartilhados de registry e de configuração. Sob escritas concorrentes — um restart coordenado, uma implantação de APIs em lote, uma grande sincronização do user store — a disputa por locks nessas tabelas pode gerar deadlock, e o sintoma visível é um nó que não termina de inicializar.
Desafio
Depois de um restart de manutenção planejado, os nós de gateway falhavam de forma intermitente ao concluir a inicialização, e as implantações de APIs em lote travavam no meio do caminho. Os logs do banco de dados mostravam deadlocks nas tabelas do registry. O pool de conexões estava dimensionado bem acima do que o banco de dados estava configurado para aceitar, então as ondas de retentativas durante a inicialização pioravam a disputa em vez de aliviá-la.
Ambiente
WSO2 API Manager e WSO2 Identity Server on-premises, compartilhando bancos de dados de registry e de user store em PostgreSQL, implantados em vários nós.
Abordagem
A AceMQ correlacionou as sequências de inicialização dos nós com os logs de deadlock do banco de dados para identificar as tabelas disputadas e as operações envolvidas. Em seguida, escalonamos a inicialização dos nós, corrigimos o dimensionamento dos pools com base nos limites reais do banco de dados e passamos a implantação em lote para uma sequência controlada, em vez de uma rajada em paralelo. A AceMQ oferece engenheiros sêniores designados, com cobertura 24/7 e sem camada de triagem nível 1.
Solução
- Correlação das sequências de inicialização com os logs de deadlock do banco de dados para identificar as tabelas do registry disputadas
- Pools de conexões redimensionados de acordo com o limite máximo real de conexões do banco de dados
- Inicialização dos nós escalonada, para que nem todos inicializem o estado do registry ao mesmo tempo
- Operações de implantação de APIs em lote serializadas, em vez de disparadas em paralelo
- Timeouts de lock e de statement ajustados no banco de dados, para que a disputa falhe rápido em vez de travar
- Procedimento de restart de manutenção documentado para não reintroduzir a disputa
Resultado obtido
Os restarts de manutenção terminam de forma confiável, e as implantações de APIs em lote são concluídas sem travar. Os deadlocks nas tabelas do registry não aparecem mais nos logs do banco de dados.