Voltar para todos os casos de uso

SuporteGoverno / defesa

Deadlocks no registry que só aparecem quando tudo reinicia ao mesmo tempo

Órgão de serviços públicos

Resolução de deadlocks no banco de dados do registry sob carga concorrente, que travavam de forma intermitente a implantação de APIs e a inicialização dos gateways do WSO2.

Visão geral

Os produtos WSO2 dependem muito de bancos de dados compartilhados de registry e de configuração. Sob escritas concorrentes — um restart coordenado, uma implantação de APIs em lote, uma grande sincronização do user store — a disputa por locks nessas tabelas pode gerar deadlock, e o sintoma visível é um nó que não termina de inicializar.

Desafio

Depois de um restart de manutenção planejado, os nós de gateway falhavam de forma intermitente ao concluir a inicialização, e as implantações de APIs em lote travavam no meio do caminho. Os logs do banco de dados mostravam deadlocks nas tabelas do registry. O pool de conexões estava dimensionado bem acima do que o banco de dados estava configurado para aceitar, então as ondas de retentativas durante a inicialização pioravam a disputa em vez de aliviá-la.

Ambiente

WSO2 API Manager e WSO2 Identity Server on-premises, compartilhando bancos de dados de registry e de user store em PostgreSQL, implantados em vários nós.

Abordagem

A AceMQ correlacionou as sequências de inicialização dos nós com os logs de deadlock do banco de dados para identificar as tabelas disputadas e as operações envolvidas. Em seguida, escalonamos a inicialização dos nós, corrigimos o dimensionamento dos pools com base nos limites reais do banco de dados e passamos a implantação em lote para uma sequência controlada, em vez de uma rajada em paralelo. A AceMQ oferece engenheiros sêniores designados, com cobertura 24/7 e sem camada de triagem nível 1.

Solução

  1. Correlação das sequências de inicialização com os logs de deadlock do banco de dados para identificar as tabelas do registry disputadas
  2. Pools de conexões redimensionados de acordo com o limite máximo real de conexões do banco de dados
  3. Inicialização dos nós escalonada, para que nem todos inicializem o estado do registry ao mesmo tempo
  4. Operações de implantação de APIs em lote serializadas, em vez de disparadas em paralelo
  5. Timeouts de lock e de statement ajustados no banco de dados, para que a disputa falhe rápido em vez de travar
  6. Procedimento de restart de manutenção documentado para não reintroduzir a disputa

Resultado obtido

Os restarts de manutenção terminam de forma confiável, e as implantações de APIs em lote são concluídas sem travar. Os deadlocks nas tabelas do registry não aparecem mais nos logs do banco de dados.

Tecnologias

WSO2PostgreSQLKubernetesDocker

Precisa de suporte especializado em WSO2?

Os engenheiros WSO2 sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.