Torna a tutti i casi d'uso

SupportoSoftware / Piattaforme digitali

Rate limit che lasciano passare N volte la quota, dove N è il numero dei vostri nodi

Fornitore SaaS B2B

Correzione di rate limit che lasciavano passare diverse volte la quota configurata, perché il plugin usava la policy di conteggio locale su un gateway a più nodi.

Panoramica

Il plugin di rate limiting di Kong usa per default una policy di conteggio locale, che mantiene i contatori nella memoria di ciascun nodo. Su un singolo nodo è corretto. Su un gateway scalato orizzontalmente significa che ogni nodo applica l'intero limite in modo indipendente, per cui il tetto effettivo è il limite configurato moltiplicato per il numero di nodi.

Sfida

I clienti con un piano a consumo superavano sistematicamente la quota di richieste documentata, e l'integrazione di un partner aveva sovraccaricato un servizio a valle che il rate limit avrebbe dovuto proteggere. Nella configurazione del plugin il limite sembrava corretto. Qualche mese prima il gateway era stato scalato da due a otto repliche, e nessuno aveva rivisto la policy dei contatori.

Ambiente

Kong su Kubernetes con data plane scalato orizzontalmente, rate limiting applicato per consumer e Redis disponibile nel cluster.

Approccio

AceMQ ha riprodotto lo sforamento con un load test controllato che distribuiva le richieste in modo fisso tra le repliche, confermando che il limite effettivo cresceva con il numero di repliche. Abbiamo spostato l'archivio dei contatori su un backend Redis condiviso e poi eseguito un load test anche del percorso Redis, perché un contatore condiviso aggiunge un hop di rete nel percorso delle richieste e richiede un proprio timeout e un comportamento in caso di guasto ben definiti.

Soluzione

  1. Sforamento della quota riprodotto con un load test distribuito sulle repliche del gateway
  2. Contatori del rate limit spostati dalla policy locale a un archivio condiviso basato su Redis
  3. Timeout di Redis e comportamento fault-tolerant definiti, così che un'interruzione dell'archivio dei contatori produca un degrado prevedibile
  4. Limiti per consumer, per servizio e globali separati, così che l'uno non mascheri l'altro
  5. Load test del percorso con contatore condiviso per confermare che la latenza aggiunta restasse entro il budget del gateway

Esito

I limiti applicati ora corrispondono a quelli configurati a prescindere dal numero di repliche, e il servizio a valle che il limite deve proteggere non viene più sovraccaricato dal traffico di un singolo partner.

Tecnologie

KongRedisKubernetesPostgreSQL

Vi serve supporto specialistico per Kong?

Gli ingegneri Kong senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.