Visão geral
Todo plugin do Kong roda no caminho da requisição. Uma cadeia montada ao longo de dois anos por equipes diferentes pode facilmente adicionar mais latência do que o próprio serviço de upstream que ela protege, e plugins Lua customizados que fazem chamadas de rede bloqueantes são os culpados de sempre.
Desafio
A latência p99 do gateway vinha crescendo de forma constante, sem que nenhum deploy isolado pudesse ser apontado como culpado. A cadeia de plugins incluía vários plugins de autenticação com responsabilidades sobrepostas, um plugin Lua customizado que fazia uma consulta síncrona a um serviço externo e plugins de logging que gravavam em um destino que congestionava de forma intermitente.
Ambiente
Kong em Kubernetes na frente de serviços de autorização de pagamentos com orçamentos rígidos de latência de ponta a ponta.
Abordagem
A AceMQ instrumentou o gateway para atribuir a latência por plugin e por fase, em vez de tratar a cadeia como um único número, e depois fez comparações controladas com plugins individuais desativados. Isso separou os plugins que custavam tempo de verdade daqueles que só pareciam suspeitos.
Solução
- Atribuição da latência das requisições por plugin e por fase de execução, e não à cadeia como um todo
- Comparações A/B controladas com plugins individuais desativados, sob carga semelhante à de produção
- Identificação de um plugin Lua customizado que fazia uma chamada externa bloqueante na fase de access
- Consolidação dos plugins de autenticação sobrepostos em um único caminho verificado
- Recomendação de logging assíncrono ou com buffer onde um destino congestionado estava adicionando latência de cauda
- Entrega de um orçamento de latência por plugin, dentro do qual os novos plugins precisam caber
Resultado obtido
A latência adicionada pelo gateway no p99 caiu substancialmente depois que o plugin customizado bloqueante foi reescrito e a cadeia de autenticação foi consolidada, e a equipe ganhou um orçamento de latência para avaliar os futuros plugins.