Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Límites de tasa que dejan pasar N veces la cuota, donde N es su número de nodos

Proveedor SaaS B2B

Corrección de unos límites de tasa que permitían varias veces la cuota configurada porque el plugin usaba la política de contador local en un gateway de varios nodos.

Descripción general

El plugin de rate limiting de Kong utiliza por defecto una política de contador local, que guarda los recuentos en la memoria de cada nodo. En un solo nodo es correcto. En un gateway escalado horizontalmente significa que cada nodo aplica el límite completo de forma independiente, así que el techo efectivo es el límite configurado multiplicado por el número de nodos.

Reto

Los clientes de un plan con medición de uso superaban sistemáticamente la cuota de peticiones documentada, y la integración de un partner saturó un servicio posterior que el límite de tasa debía proteger. En la configuración del plugin, el límite parecía correcto. Meses antes, el gateway se había escalado de dos a ocho réplicas y nadie había revisado la política del contador.

Entorno

Kong en Kubernetes con un data plane escalado horizontalmente, rate limiting aplicado por consumidor y Redis disponible en el clúster.

Enfoque

AceMQ reprodujo el exceso con una prueba de carga controlada que fijaba las peticiones en distintas réplicas, lo que confirmó que el límite efectivo crecía con el número de réplicas. Trasladamos el almacén de contadores a un backend Redis compartido y después sometimos a prueba de carga la propia ruta de Redis, porque un contador compartido añade un salto de red en la ruta de la petición y necesita definir su propio timeout y su comportamiento ante fallos.

Solución

  1. Reproducción del exceso de cuota con una prueba de carga distribuida entre las réplicas del gateway
  2. Traslado de los contadores de rate limiting de la política local a un almacén compartido respaldado por Redis
  3. Definición del timeout de Redis y de un comportamiento tolerante a fallos para que una caída del almacén de contadores degrade el servicio de forma predecible
  4. Separación de los límites por consumidor, por servicio y globales para que ninguno enmascare a otro
  5. Prueba de carga de la ruta del contador compartido para confirmar que la latencia añadida se mantenía dentro del presupuesto del gateway

Resultado final

Los límites que se aplican coinciden ahora con los configurados sea cual sea el número de réplicas, y el servicio posterior que el límite debe proteger dejó de verse saturado por el tráfico de un único partner.

Tecnologías

KongRedisKubernetesPostgreSQL

¿Necesita soporte experto de Kong?

Los ingenieros sénior de Kong de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.