Panoramica
Una piattaforma SaaS di condivisione dello schermo in tempo reale aveva un cluster Redis la cui memoria saliva costantemente tra un riavvio e l'altro senza mai riscendere. Il riavvio risolveva, il che rendeva il problema facile da sopportare e facile da diagnosticare male. AceMQ ha condotto l'intervento come sei sessioni di lavoro live per un totale di quattordici ore, con gli ingegneri del cliente presenti, anziché consegnare un report scritto settimane dopo.
Sfida
Due problemi distinti si presentavano con un unico sintomo. Il limite di memoria era stato configurato erroneamente a 7GB, per cui l'istanza non eseguiva l'eviction quando avrebbe dovuto, e Redis Search degradava sotto un pattern di scrittura ad alta frequenza per cui l'indice non era stato progettato. Ciascuno dei due, da solo, era sostenibile. Insieme producevano una crescita che sembrava un classico memory leak e resisteva ai consueti interventi sulla policy di eviction.
Ambiente
Redis containerizzato con failover gestito da Sentinel, a supporto dello stato delle sessioni di un prodotto di collaborazione in tempo reale.
Approccio
Le sessioni erano volutamente interattive: riprodurre, misurare, cambiare una variabile, misurare di nuovo. Questo formato ha permesso al team di separare l'errata configurazione del limite dal comportamento di Redis Search, invece di applicare entrambe le correzioni insieme senza imparare nulla.
Soluzione
- Corretto il limite di memoria, così che la policy di eviction potesse effettivamente attivarsi alla soglia prevista
- Degrado di Redis Search sotto scritture ad alta frequenza identificato come causa a sé stante anziché come sintomo del leak
- Introdotta una rotazione scaglionata dei container per recuperare memoria in modo progressivo, evitando un riavvio simultaneo del cluster
- Configurazione di Sentinel rivista, così che il comportamento del failover durante la rotazione fosse prevedibile
- Aggiunte le metriche di memoria e di indice che avrebbero fatto emergere prima entrambe le cause
- Ingegneri del cliente messi in condizione di eseguire la rotazione in autonomia, senza dipendere da AceMQ
Esito
La crescita della memoria si è ridotta e il sistema di produzione si è stabilizzato. Nel periodo successivo all'intervento non sono stati segnalati guasti critici, e la piattaforma ha continuato a funzionare durante tutta la remediation senza ricorrere a una finestra di manutenzione.