Panoramica
Una piattaforma di collaborazione utilizzava Redis come livello di sessione e di ricerca dietro un prodotto rivolto ai clienti. La memoria cresceva costantemente tra un riavvio e l'altro fino al crash del cluster, e il fenomeno era sopravvissuto a diversi cicli di ridimensionamento.
Sfida
Aggiungere memoria non serviva, perché la crescita non era proporzionale al traffico. Il cluster aveva inoltre un limite di memoria impostato senza unità di misura, per cui il limite previsto non veniva mai applicato. I riavvii liberavano memoria ma facevano perdere le sessioni.
Ambiente
Redis containerizzato con repliche e failover basato su Sentinel, in esecuzione in un ambiente cloud gestito dietro un carico di scrittura ad alta frequenza.
Approccio
Gli ingegneri AceMQ hanno riprodotto la crescita in un cluster di CI, l'hanno isolata nell'indice full-text eliminando e ricostruendo l'indice e osservando la memoria tornare ai livelli normali, e hanno confermato che il comportamento corrispondeva a un difetto noto nella versione del modulo di ricerca in uso. Un riavvio scaglionato delle repliche prima del master ha dato al team una mitigazione provvisoria sicura mentre si valutava il percorso di aggiornamento.
Soluzione
- Riproduzione della crescita della memoria in un cluster non di produzione per isolarne la causa
- Individuazione del leak nel modulo di ricerca full-text anziché nel carico applicativo
- Correzione di un limite di memoria configurato senza unità di misura
- Impostazione di una policy di eviction esplicita, così che il cluster degradi invece di andare in crash
- Introduzione di riavvii scaglionati, prima le repliche e poi il master, per evitare rischi di failover
- Valutazione di Valkey come percorso supportato a lungo termine, con rollout controllato tramite feature flag
Esito
La crescita della memoria ha smesso di essere un incidente. Il cluster è rimasto stabile tra una finestra di manutenzione e l'altra, il team ha ottenuto una mitigazione documentata da applicare in autonomia e la migrazione a Valkey è proseguita come modifica pianificata anziché come emergenza.