Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Límites de tasa que dejan pasar N veces la cuota, donde N es su cantidad de nodos

Proveedor SaaS B2B

Corrección de límites de tasa que permitían varias veces la cuota configurada porque el plugin usaba la política de contador local en un gateway de varios nodos.

Descripción general

El plugin de rate limiting de Kong usa por defecto una política de contador local, que guarda los conteos en la memoria de cada nodo. En un solo nodo eso es correcto. En un gateway escalado horizontalmente significa que cada nodo aplica el límite completo de forma independiente, así que el techo efectivo es el límite configurado multiplicado por la cantidad de nodos.

Desafío

Los clientes de un plan medido superaban sistemáticamente la cuota de solicitudes documentada, y la integración de un partner saturó un servicio downstream que el límite de tasa debía proteger. En la configuración del plugin, el límite parecía correcto. El gateway se había escalado de dos a ocho réplicas algunos meses antes, y nadie había vuelto a revisar la política de contador.

Entorno

Kong sobre Kubernetes con un data plane escalado horizontalmente, rate limiting aplicado por consumidor y Redis disponible en el clúster.

Enfoque

AceMQ reprodujo el exceso con una prueba de carga controlada que fijaba las solicitudes en distintas réplicas, lo que confirmó que el límite efectivo escalaba con la cantidad de réplicas. Movimos el almacén de contadores a un backend compartido en Redis y luego hicimos pruebas de carga sobre la propia ruta de Redis, ya que un contador compartido agrega un salto de red en la ruta de la solicitud y necesita que se definan su propio timeout y su comportamiento ante fallas.

Solución

  1. Reproducción del exceso de cuota con una prueba de carga distribuida entre las réplicas del gateway
  2. Traslado de los contadores de rate limiting de la política local a un almacén compartido respaldado por Redis
  3. Definición del timeout de Redis y de un comportamiento tolerante a fallas, para que una caída del almacén de contadores degrade el servicio de forma predecible
  4. Separación de los límites por consumidor, por servicio y globales, para que uno no oculte a otro
  5. Prueba de carga de la ruta con contador compartido para confirmar que la latencia agregada se mantenía dentro del presupuesto del gateway

Resultado final

Los límites aplicados ahora coinciden con los configurados sin importar la cantidad de réplicas, y el servicio downstream que el límite debe proteger dejó de saturarse con el tráfico de un solo partner.

Tecnologías

KongRedisKubernetesPostgreSQL

¿Necesita soporte experto de Kong?

Los ingenieros sénior de Kong de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.