Panoramica
Il plugin di rate limiting di Kong usa per default una policy di conteggio locale, che mantiene i contatori nella memoria di ciascun nodo. Su un singolo nodo è corretto. Su un gateway scalato orizzontalmente significa che ogni nodo applica l'intero limite in modo indipendente, per cui il tetto effettivo è il limite configurato moltiplicato per il numero di nodi.
Sfida
I clienti con un piano a consumo superavano sistematicamente la quota di richieste documentata, e l'integrazione di un partner aveva sovraccaricato un servizio a valle che il rate limit avrebbe dovuto proteggere. Nella configurazione del plugin il limite sembrava corretto. Qualche mese prima il gateway era stato scalato da due a otto repliche, e nessuno aveva rivisto la policy dei contatori.
Ambiente
Kong su Kubernetes con data plane scalato orizzontalmente, rate limiting applicato per consumer e Redis disponibile nel cluster.
Approccio
AceMQ ha riprodotto lo sforamento con un load test controllato che distribuiva le richieste in modo fisso tra le repliche, confermando che il limite effettivo cresceva con il numero di repliche. Abbiamo spostato l'archivio dei contatori su un backend Redis condiviso e poi eseguito un load test anche del percorso Redis, perché un contatore condiviso aggiunge un hop di rete nel percorso delle richieste e richiede un proprio timeout e un comportamento in caso di guasto ben definiti.
Soluzione
- Sforamento della quota riprodotto con un load test distribuito sulle repliche del gateway
- Contatori del rate limit spostati dalla policy locale a un archivio condiviso basato su Redis
- Timeout di Redis e comportamento fault-tolerant definiti, così che un'interruzione dell'archivio dei contatori produca un degrado prevedibile
- Limiti per consumer, per servizio e globali separati, così che l'uno non mascheri l'altro
- Load test del percorso con contatore condiviso per confermare che la latenza aggiunta restasse entro il budget del gateway
Esito
I limiti applicati ora corrispondono a quelli configurati a prescindere dal numero di repliche, e il servizio a valle che il limite deve proteggere non viene più sovraccaricato dal traffico di un singolo partner.