Visão geral
O plugin de rate limiting do Kong usa por padrão a política de contador local, que guarda as contagens na memória de cada nó. Em um único nó, isso está correto. Em um gateway escalado horizontalmente, significa que cada nó aplica o limite inteiro de forma independente, então o teto efetivo é o limite configurado multiplicado pelo número de nós.
Desafio
Clientes de um plano tarifado por uso ultrapassavam sistematicamente a cota de requisições documentada, e a integração de um parceiro sobrecarregou um serviço downstream que o rate limit deveria proteger. O limite parecia correto na configuração do plugin. O gateway tinha sido escalado de duas para oito réplicas alguns meses antes, e ninguém revisitou a política de contador.
Ambiente
Kong em Kubernetes com data plane escalado horizontalmente, rate limiting aplicado por consumer e Redis disponível no cluster.
Abordagem
A AceMQ reproduziu o estouro com um teste de carga controlado que distribuía as requisições entre as réplicas, confirmando que o limite efetivo escalava com o número de réplicas. Movemos o armazenamento dos contadores para um backend Redis compartilhado e depois testamos a carga do próprio caminho pelo Redis, já que um contador compartilhado acrescenta um salto de rede no caminho da requisição e precisa de timeout e de comportamento em caso de falha definidos.
Solução
- Reprodução do estouro de cota com um teste de carga distribuído entre as réplicas do gateway
- Migração dos contadores de rate limit da política local para um armazenamento compartilhado baseado em Redis
- Definição do timeout do Redis e do comportamento tolerante a falhas, para que uma indisponibilidade do armazenamento de contadores degrade o serviço de forma previsível
- Separação dos limites por consumer, por serviço e globais, para que um não mascare o outro
- Teste de carga do caminho com contador compartilhado para confirmar que a latência adicional ficava dentro do orçamento do gateway
Resultado obtido
Os limites aplicados agora correspondem aos limites configurados, independentemente do número de réplicas, e o serviço downstream que o limite existe para proteger deixou de ser sobrecarregado pelo tráfego de um único parceiro.