Descripción general
El plugin de rate limiting de Kong usa por defecto una política de contador local, que guarda los conteos en la memoria de cada nodo. En un solo nodo eso es correcto. En un gateway escalado horizontalmente significa que cada nodo aplica el límite completo de forma independiente, así que el techo efectivo es el límite configurado multiplicado por la cantidad de nodos.
Desafío
Los clientes de un plan medido superaban sistemáticamente la cuota de solicitudes documentada, y la integración de un partner saturó un servicio downstream que el límite de tasa debía proteger. En la configuración del plugin, el límite parecía correcto. El gateway se había escalado de dos a ocho réplicas algunos meses antes, y nadie había vuelto a revisar la política de contador.
Entorno
Kong sobre Kubernetes con un data plane escalado horizontalmente, rate limiting aplicado por consumidor y Redis disponible en el clúster.
Enfoque
AceMQ reprodujo el exceso con una prueba de carga controlada que fijaba las solicitudes en distintas réplicas, lo que confirmó que el límite efectivo escalaba con la cantidad de réplicas. Movimos el almacén de contadores a un backend compartido en Redis y luego hicimos pruebas de carga sobre la propia ruta de Redis, ya que un contador compartido agrega un salto de red en la ruta de la solicitud y necesita que se definan su propio timeout y su comportamiento ante fallas.
Solución
- Reproducción del exceso de cuota con una prueba de carga distribuida entre las réplicas del gateway
- Traslado de los contadores de rate limiting de la política local a un almacén compartido respaldado por Redis
- Definición del timeout de Redis y de un comportamiento tolerante a fallas, para que una caída del almacén de contadores degrade el servicio de forma predecible
- Separación de los límites por consumidor, por servicio y globales, para que uno no oculte a otro
- Prueba de carga de la ruta con contador compartido para confirmar que la latencia agregada se mantenía dentro del presupuesto del gateway
Resultado final
Los límites aplicados ahora coinciden con los configurados sin importar la cantidad de réplicas, y el servicio downstream que el límite debe proteger dejó de saturarse con el tráfico de un solo partner.