Redis

Perché la memoria di Redis continua a crescere anche se il numero di chiavi no?

Scott Sternloff

Di Scott Sternloff, Enterprise Architect senior

LinkedIn · Aggiornato il

MAXINDEX GROWINGMemory Leak, Flat Key Count
In questa pagina

Controllate INFO memory e la memoria usata continua a salire. Controllate il numero di chiavi ed è stabile, o addirittura in calo. È uno degli schemi di guasto più disorientanti nella gestione di Redis: i conti non tornano, e spesso i team passano giorni a inseguire il colpevole sbagliato prima di trovare quello vero.

Questo articolo ripercorre diagnosi e soluzione sulla base di un'indagine reale in produzione durata diverse settimane, con i comandi e le soglie che si sono rivelati decisivi.

Se il numero di chiavi è stabile, perché la memoria continua a crescere?

Nella stragrande maggioranza dei casi la risposta è: non sono le chiavi, è l'indice.

Se usate RediSearch (il modulo di ricerca full-text e indici secondari) o un modulo di indicizzazione simile, l'indice stesso consuma memoria indipendentemente dal keyspace principale. Un indice che cresce senza limiti, spesso perché viene ricostruito o aggiornato molto più di frequente del previsto, può salire verso il limite di maxmemory mentre DBSIZE non mostra nulla di insolito.

È esattamente quanto diagnosticato in un assessment Redis articolato in più sessioni: il team ha confermato che un memory leak era legato al plugin di indicizzazione full-text di Redis, con un utilizzo della memoria in salita verso il 60% e crash durante le operazioni di reindicizzazione. Justin Clark ed Eugene Abovsky lo hanno identificato come un bug software del modulo di indicizzazione: non un problema hardware o di configurazione, e nulla che avvenisse nel keyspace principale.

Primo passo diagnostico: eseguite FT.INFO <index_name> su ciascuno degli indici di ricerca e osservate l'occupazione di memoria riportata per l'indice. Confrontatela con il valore totale di used_memory restituito da INFO memory. Se l'indice rappresenta una quota sproporzionata e crescente, avete trovato l'origine del leak: non nei dati, ma nella struttura dell'indice costruita sopra di essi.

Cosa provoca, nello specifico, questo tipo di memory leak in un indice?

La causa più comune è un reindexing eccessivo dovuto ad aggiornamenti frequenti e di scarso valore.

In un'indagine in produzione, il team ha ricondotto il leak agli aggiornamenti degli heartbeat dei dispositivi: ogni heartbeat provocava la reindicizzazione completa del documento associato, anche quando la modifica effettiva era irrilevante. Ognuna di quelle operazioni di reindex lasciava dietro di sé memoria non recuperata e, poiché gli heartbeat arrivavano di continuo, il leak si accumulava nel giro di ore fino al crash dell'istanza.

Un secondo fattore individuato nella stessa indagine: l'indicizzazione di campi che non ne hanno bisogno, come i campi UUID. Indicizzare un campo ad alta cardinalità come un UUID gonfia in modo consistente l'occupazione di memoria dell'indice con un beneficio minimo per le query, perché gli UUID sono raramente oggetto di query per intervallo o di ricerca fuzzy.

Domande diagnostiche da porsi sul proprio deployment:

  • Quali campi vengono effettivamente indicizzati, e le query li usano davvero tutti?
  • Cosa provoca l'aggiornamento di un documento: un cambiamento di stato significativo o un segnale ad alta frequenza come un heartbeat o l'avanzamento di un timestamp?
  • È in esecuzione un job di reindex pianificato, e si completa davvero liberando memoria o fallisce in silenzio?

Qual è il modo più rapido per stabilizzare un'istanza Redis che sta perdendo memoria in questo momento?

Se siete nel pieno di un incidente, con la memoria che sale verso il limite e un crash imminente, esiste un rimedio temporaneo collaudato: eliminare e ricostruire l'indice interessato.

Non risolve la causa principale, ma recupera in modo affidabile la memoria persa come mitigazione immediata. In un incidente, eliminare e ricostruire l'indice ha ridotto l'utilizzo della memoria dal 50% al 36% del massimo configurato, un margine sufficiente a stabilizzare il sistema mentre si sviluppava la soluzione di fondo.

La procedura temporanea:

  1. Individuate con FT.INFO l'indice che cresce in modo sproporzionato
  2. Se possibile, pianificate l'eliminazione e la ricostruzione in una finestra di traffico ridotto: ricostruire un indice di grandi dimensioni non è istantaneo e incide brevemente sulla disponibilità delle query
  3. FT.DROPINDEX <index_name> (senza DD se volete preservare i dati hash/JSON sottostanti, perché l'obiettivo è rimuovere solo la struttura dell'indice, non le chiavi)
  4. Ricreate l'indice con FT.CREATE
  5. Monitorate poi FT.INFO e INFO memory per verificare che il recupero tenga

Negli ambienti di produzione in cui il problema si ripresenta, la procedura può essere automatizzata come job pianificato, ma va trattata come una mitigazione, non come una soluzione. Automatizzare un workaround senza intervenire sulla causa del reindex sposta solo più in là il momento del crash.

Quali modifiche di configurazione evitano davvero il crash?

Oltre a correggere la causa del reindex, due modifiche a livello di configurazione riducono l'impatto mentre si sviluppa la soluzione di fondo:

Impostate un maxmemory esplicito con una eviction policy adeguata. In un incidente, il team ha introdotto una nuova impostazione di memoria massima insieme a una eviction policy allkeys-lru proprio per proteggere la stabilità del sistema per i clienti critici, accettando un certo calo del cache hit rate in cambio della garanzia che l'istanza non vada in crash per esaurimento della memoria. È un compromesso deliberato a favore della stabilità rispetto alle prestazioni durante un'indagine su un leak in corso, non necessariamente un assetto permanente.

Regolate il comportamento della garbage collection dove possibile. Nei deployment Redis con un uso intensivo di moduli, è stato testato un tuning aggressivo della GC proprio per migliorare il comportamento nella gestione della memoria: vale la pena approfondirlo se il vendor del modulo espone parametri di configurazione relativi alla GC.

Separate i dati frequenti e di scarso valore dalle chiavi indicizzate. La soluzione più duratura emersa dall'indagine è stata architetturale: separare completamente i dati volatili di tipo heartbeat dalle chiavi indicizzate, così che i ping di stato di routine non provochino più alcuna reindicizzazione. Se la vostra applicazione aggiorna spesso un piccolo sottoinsieme di campi di un documento altrimenti stabile, valutate di salvare i campi volatili in una chiave separata e non indicizzata.

Conviene aggiornare la versione di Redis per risolvere il problema?

Forse, ma prima verificate il bug specifico. Nell'indagine citata in tutto l'articolo, il processo diagnostico ha incluso la verifica che il memory leak fosse un problema noto e corretto nelle versioni successive di Redis, dato che l'ambiente interessato usava una release più vecchia. Un'analisi indipendente del codice sorgente del modulo di ricerca è servita a stabilire se le versioni con patch note risolvessero lo specifico schema di leak osservato.

Prima di puntare su un upgrade come soluzione, verificate:

  • Se la versione specifica del modulo in uso ha una correzione documentata del memory leak in una release successiva
  • Se il leak dipende davvero dal modulo o dal vostro schema di indicizzazione (un upgrade non risolve un problema di indicizzazione degli UUID)
  • Se disponete di un piano di rollback collaudato, perché gli upgrade di versione di Redis in produzione richiedono la stessa cura di qualsiasi upgrade di un servizio stateful

Obiettivi di risposta da 15 minuti, in base al piano. Ingegneri senior dedicati.

Contattateci

È un motivo per valutare la migrazione a Valkey?

Vale la pena valutarla nell'ambito di un piano di intervento più ampio, soprattutto se state considerando anche aspetti di licenza. Alcuni team alle prese proprio con questo tipo di instabilità legata ai moduli hanno colto l'occasione dell'indagine per testare in parallelo la compatibilità con Valkey, verificando se il codice client e gli schemi di indicizzazione esistenti si comportassero in modo identico su Valkey prima di decidere in un senso o nell'altro. Approfondiamo questa decisione in un articolo dedicato.

Come impostare il monitoraggio continuo dopo la stabilizzazione?

Una volta gestito il rischio immediato di crash, mettete in campo un monitoraggio permanente perché il problema non si ripresenti in silenzio:

  • Monitorate la memoria degli indici come metrica distinta, non solo il valore totale di used_memory. Un pannello della dashboard che mostra la memoria di FT.INFO accanto alla memoria totale rende visibile il prossimo leak in anticipo, invece che al 60% di utilizzo.
  • Impostate alert sulla frequenza e sulla durata dei job di reindex. Se la cadenza dei reindex cambia in modo inatteso, diventando più frequente o non completandosi più senza segnalarlo, è il vostro segnale di allerta precoce.
  • Verificate che la eviction policy di maxmemory corrisponda alla vostra reale tolleranza alla perdita di dati. allkeys-lru protegge la stabilità ma sotto pressione rimuove dati; se per il vostro caso d'uso non è accettabile, la vera soluzione deve agire sulla causa del reindex, non sulla eviction policy.

Supporto per memory leak e crescita degli indici in Redis

La memoria di Redis sale indipendentemente dal numero di chiavi? È uno schema che riconduciamo alla sua vera origine: crescita degli indici, cause dei reindex e bug dei moduli che un tuning infrastrutturale generico non intercetta. AceMQ fornisce supporto Redis enterprise per ambienti di produzione. Parlate con un ingegnere AceMQ.

Questo è il terzo dei sette passaggi della guida all'affidabilità di Redis, che affronta i problemi nell'ordine in cui si presentano in un ambiente di produzione.

Domande frequenti

Se il numero di chiavi Redis è stabile, perché la memoria continua a crescere?

Nella stragrande maggioranza dei casi la crescita proviene da un indice, non dal keyspace. RediSearch e moduli di indicizzazione simili consumano memoria indipendentemente dal keyspace principale, e un indice ricostruito o aggiornato troppo spesso può salire verso maxmemory mentre DBSIZE non mostra nulla di insolito. Per confermarlo, eseguite FT.INFO <index_name> su ogni indice di ricerca e confrontatene l'occupazione di memoria con il valore totale di used_memory restituito da INFO memory.

Cosa provoca questo tipo di memory leak in un indice Redis?

La causa più comune è un reindexing eccessivo dovuto ad aggiornamenti frequenti e di scarso valore, per esempio un campo heartbeat che a ogni ping provoca la reindicizzazione completa del documento. Un secondo fattore è l'indicizzazione di campi che non ne hanno bisogno, come i campi UUID ad alta cardinalità, che gonfiano l'occupazione di memoria dell'indice con un beneficio minimo per le query.

Qual è il modo più rapido per stabilizzare un'istanza Redis che sta perdendo memoria in questo momento?

Eliminare e ricostruire l'indice interessato. Non risolve la causa principale, ma recupera in modo affidabile la memoria persa come mitigazione immediata: in un incidente ha ridotto l'utilizzo dal 50% al 36% del massimo configurato. Pianificatelo in una finestra di traffico ridotto, individuate l'indice in crescita con FT.INFO, poi eseguite FT.DROPINDEX (senza DD per preservare i dati) e ricreatelo con FT.CREATE.

Quali modifiche di configurazione evitano davvero un crash di Redis dovuto a un memory leak?

Impostate un maxmemory esplicito con una eviction policy allkeys-lru, così che l'istanza non possa andare in crash per esaurimento della memoria, anche a costo di un certo calo del cache hit rate. Regolate il comportamento della garbage collection se il vendor del modulo lo consente. La soluzione più duratura è separare i dati frequenti e di scarso valore, come gli heartbeat, dalle chiavi indicizzate, così che gli aggiornamenti di routine smettano del tutto di provocare reindicizzazioni.

Conviene aggiornare la versione di Redis per risolvere un memory leak?

Forse, ma prima verificate il bug specifico. Controllate se la versione del modulo in uso ha una correzione documentata del memory leak in una release successiva, se il leak dipende davvero dal modulo e non dal vostro schema di indicizzazione, e se disponete di un piano di rollback collaudato prima di impegnarvi in un upgrade.

Un memory leak in Redis è un motivo per valutare la migrazione a Valkey?

Vale la pena valutarla nell'ambito di un piano di intervento più ampio, soprattutto se state considerando anche aspetti di licenza. Testare in parallelo la compatibilità con Valkey, verificando che codice client e schemi di indicizzazione si comportino in modo identico, consente di valutare l'opzione senza impegnarvi in anticipo.

Come impostare il monitoraggio continuo dopo aver stabilizzato un memory leak in Redis?

Monitorate la memoria degli indici come metrica distinta accanto al valore totale di used_memory, invece di affidarvi solo ai numeri aggregati. Impostate alert sulla frequenza e sulla durata dei job di reindex, così da intercettare presto un cambiamento inatteso. Verificate che la eviction policy di maxmemory corrisponda davvero alla vostra tolleranza alla perdita di dati, perché allkeys-lru protegge la stabilità ma sotto pressione rimuove dati.

Consulenza gratuita

Fate esaminare a un esperto il vostro deployment Redis

Che stiate risolvendo un incidente in produzione, pianificando una migrazione o cercando un secondo parere sulla vostra architettura, il nostro team è pronto. Nessun discorso commerciale, solo risposte.

Scriveteci