Descripción general
El plugin de rate limiting de Kong utiliza por defecto una política de contador local, que guarda los recuentos en la memoria de cada nodo. En un solo nodo es correcto. En un gateway escalado horizontalmente significa que cada nodo aplica el límite completo de forma independiente, así que el techo efectivo es el límite configurado multiplicado por el número de nodos.
Reto
Los clientes de un plan con medición de uso superaban sistemáticamente la cuota de peticiones documentada, y la integración de un partner saturó un servicio posterior que el límite de tasa debía proteger. En la configuración del plugin, el límite parecía correcto. Meses antes, el gateway se había escalado de dos a ocho réplicas y nadie había revisado la política del contador.
Entorno
Kong en Kubernetes con un data plane escalado horizontalmente, rate limiting aplicado por consumidor y Redis disponible en el clúster.
Enfoque
AceMQ reprodujo el exceso con una prueba de carga controlada que fijaba las peticiones en distintas réplicas, lo que confirmó que el límite efectivo crecía con el número de réplicas. Trasladamos el almacén de contadores a un backend Redis compartido y después sometimos a prueba de carga la propia ruta de Redis, porque un contador compartido añade un salto de red en la ruta de la petición y necesita definir su propio timeout y su comportamiento ante fallos.
Solución
- Reproducción del exceso de cuota con una prueba de carga distribuida entre las réplicas del gateway
- Traslado de los contadores de rate limiting de la política local a un almacén compartido respaldado por Redis
- Definición del timeout de Redis y de un comportamiento tolerante a fallos para que una caída del almacén de contadores degrade el servicio de forma predecible
- Separación de los límites por consumidor, por servicio y globales para que ninguno enmascare a otro
- Prueba de carga de la ruta del contador compartido para confirmar que la latencia añadida se mantenía dentro del presupuesto del gateway
Resultado final
Los límites que se aplican coinciden ahora con los configurados sea cual sea el número de réplicas, y el servicio posterior que el límite debe proteger dejó de verse saturado por el tráfico de un único partner.