Voltar para todos os casos de uso

SuporteSoftware / plataformas digitais

Limites de requisições que deixam passar N vezes a cota, sendo N o número de nós

Fornecedor de SaaS B2B

Correção de limites de requisições que permitiam várias vezes a cota configurada porque o plugin usava a política de contador local em um gateway com vários nós.

Visão geral

O plugin de rate limiting do Kong usa por padrão a política de contador local, que guarda as contagens na memória de cada nó. Em um único nó, isso está correto. Em um gateway escalado horizontalmente, significa que cada nó aplica o limite inteiro de forma independente, então o teto efetivo é o limite configurado multiplicado pelo número de nós.

Desafio

Clientes de um plano tarifado por uso ultrapassavam sistematicamente a cota de requisições documentada, e a integração de um parceiro sobrecarregou um serviço downstream que o rate limit deveria proteger. O limite parecia correto na configuração do plugin. O gateway tinha sido escalado de duas para oito réplicas alguns meses antes, e ninguém revisitou a política de contador.

Ambiente

Kong em Kubernetes com data plane escalado horizontalmente, rate limiting aplicado por consumer e Redis disponível no cluster.

Abordagem

A AceMQ reproduziu o estouro com um teste de carga controlado que distribuía as requisições entre as réplicas, confirmando que o limite efetivo escalava com o número de réplicas. Movemos o armazenamento dos contadores para um backend Redis compartilhado e depois testamos a carga do próprio caminho pelo Redis, já que um contador compartilhado acrescenta um salto de rede no caminho da requisição e precisa de timeout e de comportamento em caso de falha definidos.

Solução

  1. Reprodução do estouro de cota com um teste de carga distribuído entre as réplicas do gateway
  2. Migração dos contadores de rate limit da política local para um armazenamento compartilhado baseado em Redis
  3. Definição do timeout do Redis e do comportamento tolerante a falhas, para que uma indisponibilidade do armazenamento de contadores degrade o serviço de forma previsível
  4. Separação dos limites por consumer, por serviço e globais, para que um não mascare o outro
  5. Teste de carga do caminho com contador compartilhado para confirmar que a latência adicional ficava dentro do orçamento do gateway

Resultado obtido

Os limites aplicados agora correspondem aos limites configurados, independentemente do número de réplicas, e o serviço downstream que o limite existe para proteger deixou de ser sobrecarregado pelo tráfego de um único parceiro.

Tecnologias

KongRedisKubernetesPostgreSQL

Precisa de suporte especializado em Kong?

Os engenheiros Kong sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.