In questa pagina
Il vostro team apre INFO server, INFO clients, INFO memory: tutto sembra normale. CPU bassa. Memoria entro i limiti. Nessuna voce nello slow log. Eppure l'applicazione continua a sollevare eccezioni di timeout di Redis, e i servizi che dipendono da Redis si degradano o vanno in errore.
È un tipo di guasto davvero comune e davvero disorientante, perché l'istinto porta a guardare prima il server. Nei casi che abbiamo seguito, il problema non risiede quasi mai sul server.
Dove cercare davvero se Redis va in timeout ma il server è a posto?
In tre punti, in ordine di probabilità:
- La configurazione del client: in particolare valori di timeout, dimensionamento del connection pool e comportamento dei retry.
- Il percorso di rete: firewall, load balancer o dispositivi NAT che si trovano tra l'applicazione e Redis e chiudono silenziosamente le connessioni inattive.
- Chiavi di grandi dimensioni o comandi bloccanti: operazioni che bloccano l'event loop single-thread di Redis abbastanza a lungo da causare timeout lato client, anche se il server non “cade” mai.
Un caso reale in produzione lo rende concreto: un incarico per un cliente era stato definito interamente attorno a un timeout client di 10 secondi che causava disservizi nei microservizi. L'indagine ha confermato che gli errori si verificavano lato client, non sui server Redis: sul server non risultava alcun errore o rallentamento equivalente. Per individuare la causa principale è servita un'analisi più approfondita dei pattern di esaurimento delle risorse lato client e applicativo, non dell'istanza Redis in sé.
Le connessioni cadono sempre durante una specifica finestra di manutenzione: che cosa succede?
È un sintomo a livello di rete, ed è più comune di quanto i team si aspettino negli ambienti cloud e nelle reti aziendali con manutenzioni programmate dei firewall.
In un caso, gli interventi di manutenzione del firewall facevano cadere contemporaneamente tutte le connessioni TCP verso il cluster Redis; la finestra di manutenzione durava da tre a cinque minuti e provocava un'interruzione completa della rete, con la necessità di riavviare manualmente le applicazioni. Non era affatto un problema di Redis: era l'infrastruttura presente nel percorso di rete tra l'applicazione e Redis a chiudere silenziosamente le connessioni stabilite durante un aggiornamento di routine del firewall.
Come confermare che il problema è questo:
- Verificate se gli incidenti di timeout coincidono con una cadenza ricorrente (notturna, settimanale) anziché con l'andamento del carico
- Chiedete direttamente al team di rete se esistono finestre di manutenzione programmate per firewall, load balancer o NAT gateway
- Se potete, catturate il traffico durante la finestra: un TCP RST pulito o una caduta silenziosa della connessione senza alcuna voce corrispondente nei log del server Redis conferma che il responsabile è il livello di rete, non Redis
Quali impostazioni lato client risolvono davvero i timeout di Redis?
Contano soprattutto due impostazioni, ed erano proprio la correzione applicata in un intervento reale: il TCP keepalive e la regolazione di retry e timeout a livello di client.
TCP keepalive. Senza keepalive, le connessioni inattive dietro un firewall o un dispositivo NAT sono le prime candidate a una chiusura silenziosa: lo stack TCP del sistema operativo non sa che la connessione è stata interrotta finché non prova effettivamente a usarla, e a quel punto ottenete un timeout anziché una riconnessione pulita. Abilitare il TCP keepalive con un intervallo piuttosto aggressivo (ben al di sotto del timeout delle connessioni inattive del firewall o del NAT) mantiene viva la connessione con pacchetti periodici a vuoto, oppure la fa fallire abbastanza in fretta da permettere al connection pool di sostituire la connessione morta prima che l'applicazione provi a usarla.
Configurazione di retry e timeout nella libreria client. Per le applicazioni Java che usano il client Redis Lettuce (diffuso con Spring Data Redis), significa configurare esplicitamente:
- Il command timeout (quanto attendere una risposta da Redis prima di rinunciare)
- Le opzioni di keepalive a livello di socket nella libreria client, non solo a livello di sistema operativo
- La policy di retry per i guasti transitori di connessione, distinguendo tra “connection refused” (fallire subito) e “connection reset” (retry sicuro)
Un intervento di remediation in produzione ha prodotto proprio un report di sintesi con le impostazioni consigliate di TCP keepalive e retry sia lato server sia lato client, seguito da indicazioni puntuali di tuning della configurazione per il cluster Redis del cliente e per i parametri di timeout e retry del client Lettuce.
E se a causare i timeout fossero le chiavi di grandi dimensioni?
Possibile, e vale la pena escluderlo anche se avete già individuato un fattore di rete o lato client, perché le chiavi di grandi dimensioni possono aggravare il problema.
Redis esegue i comandi su un solo thread. Un comando che opera su una chiave molto grande (un hash enorme, un sorted set gigantesco, una stringa voluminosa) può bloccare l'event loop abbastanza a lungo da mettere in coda i comandi degli altri client fino a mandarli in timeout, anche se il server “sembra” sano a giudicare dalle metriche aggregate di CPU e memoria.
L'indagine su questo pattern ha esplorato in modo specifico tecniche di compressione per le chiavi Redis di grandi dimensioni come possibile ottimizzazione delle prestazioni, accanto alle correzioni a livello di rete: nei deployment reali, infatti, la causa principale del timeout spesso non è un singolo fattore ma la combinazione di un'affidabilità di rete al limite e di operazioni occasionali su chiavi grandi che spingono la latenza oltre la soglia di timeout del client.
Come verificare: eseguite redis-cli --bigkeys durante un periodo di traffico rappresentativo, oppure usate MEMORY USAGE <key> sulle chiavi sospette. Se trovate chiavi da diversi megabyte a cui si accede con comandi come HGETALL, SMEMBERS o LRANGE senza limiti, avete un probabile fattore concorrente.
Qual è il metodo sistematico per diagnosticare il problema senza tirare a indovinare?
Procedete in quest'ordine:
- Confermate che il problema è lato client. Controllate i log del server Redis e l'output di
INFOalla ricerca di qualsiasi elemento correlato alla finestra del timeout. Se il server non mostra nulla, avete la conferma che il problema si trova a monte di Redis. - Verificate la correlazione con una pianificazione. Succede a un'ora precisa del giorno o in un giorno preciso della settimana? Allora indica una manutenzione dell'infrastruttura di rete.
- Rivedete la configurazione del client. Command timeout, dimensione del connection pool, impostazioni del TCP keepalive: confrontateli con la tolleranza alle connessioni inattive del vostro percorso di rete reale.
- Escludete chiavi di grandi dimensioni e comandi bloccanti. Eseguite
--bigkeysed esaminate i vostri pattern di comandi alla ricerca di operazioni su collezioni senza limiti. - Se i passaggi precedenti non risolvono, raccogliete evidenze a livello di pacchetto. Una cattura del traffico durante una finestra di riproduzione vi mostrerà in modo definitivo se la connessione viene resettata da un dispositivo di rete o va in timeout lato client.
Un team infrastrutturale generalista può diagnosticarlo, o serve una competenza specifica su Redis?
Una competenza specifica su Redis aiuta davvero, soprattutto perché il sintomo (il timeout) si presenta identico sia che la causa sia lato Redis, lato client o lato rete, e i team senza una solida esperienza operativa su Redis spesso iniziano a intervenire sul livello sbagliato: di solito il server, dato che è il componente che porta “Redis” nel nome.
I due casi di produzione citati in questo articolo hanno richiesto entrambi un coordinamento tra team diversi (team applicativi e DevOps al lavoro con esperti Redis e, nel caso del firewall, direttamente il team di rete e sicurezza) per isolare il livello effettivamente responsabile. È proprio in un processo diagnostico trasversale di questo tipo che un assessment Redis strutturato dimostra il proprio valore: non dà per scontato che la risposta sia “ottimizzare Redis”, ma risale al guasto ovunque si trovi davvero.
Una diagnosi in dieci minuti per i timeout di Redis
Questo è l'ordine in cui eseguiamo i comandi e ciò che ogni risposta conferma o esclude. Tutto vale anche per Valkey.
redis-cli --latencydall'host client, poi dall'host server. Eseguite--latency-historysu entrambi per qualche minuto. Picchi solo sull'host client indicano il percorso di rete o la macchina client: nulla in Redis potrà risolverli. Picchi su entrambi indicano che il server si blocca, quindi proseguite con l'elenco.
SLOWLOG GET 25eINFO commandstats. Lo slowlog mostra i singoli comandi che hanno superatoslowlog-log-slower-than(10 ms per impostazione predefinita). Commandstats mostrausec_per_callper tipo di comando, e così individua unKEYScon una media di 40 ms anche quando nessuna singola chiamata è finita nello slowlog. I colpevoli abituali sonoKEYS,SMEMBERSsu un set grande,HGETALLsu un hash molto ampio, operazioni insiemistiche comeSUNIONe script Lua con cicli. Ognuno di questi blocca tutti gli altri client per l'intera durata.
INFO clients. Un valore diblocked_clientssuperiore a zero è normale conBLPOPo con gli stream; altrimenti c'è qualcosa in attesa di una chiave che non arriva mai. Confrontateclient_recent_max_output_bufferconCONFIG GET client-output-buffer-limit: un subscriber o una replica lenti riempiono il proprio buffer, il limite scatta e il server chiude la connessione, che il client segnala come timeout.
INFO persistence. Confrontaterdb_bgsave_in_progress,aof_rewrite_in_progresselatest_fork_useccon gli orari dei timeout. Un fork su un dataset grande mette in pausa il thread principale per centinaia di millisecondi, e il copy-on-write che segue rallenta ogni scrittura. Timeout sempre allo stesso minuto di ogni ora sono quasi sempre unBGSAVEpianificato.
INFO stats. Un salto dievicted_keyssignifica che avete raggiuntomaxmemorye il server passa il tempo a scegliere le chiavi da espellere; un salto diexpired_keysindica un picco di scadenze, con molte chiavi che scadono nello stesso secondo. In entrambi i casi l'event loop si blocca. La nostra guida alla memoria di Redis e la FAQ sulla memoria che cresce senza aumento delle chiavi descrivono le soluzioni.
CLIENT LIST. Contate le connessioni peraddrename. Un pool fermo al limite mentre le richieste si accodano significa che il “timeout” è tempo passato ad attendere una connessione libera, non una risposta lenta. Valori elevati diqbufoomemsu una voce indicano un singolo client che si comporta male.
- L'host. Su una VM,
vmstat 1con la colonna steal diversa da zero significa che l'hypervisor vi sta sottraendo CPU.cat /sys/kernel/mm/transparent_hugepage/enableddeve restituirenever; Redis e Valkey lo segnalano all'avvio perché le THP allungano le pause dei fork. Qualsiasi uso di swap su un host Redis è un problema da segnalare.
- Le impostazioni del client per ultime. Solo a questo punto guardate dimensione del pool, socket timeout e policy di retry. Se partite da qui, alzerete il timeout, nasconderete il sintomo e tra un mese sarete di nuovo al punto di partenza.
Nel nostro lavoro di supporto, il passaggio 2 individua la causa più spesso di tutti gli altri messi insieme, con il passaggio 4 secondo a distanza. Le cause di rete sono meno comuni di quanto si pensi, ed è per questo che il passaggio 1 chiude la questione in due minuti. Per un runbook più completo, consultate troubleshooting di Redis.
Errori di timeout specifici dei client e che cosa significano di solito
- Jedis.
JedisConnectionException: Could not get a resource from the poolindica l'esaurimento del pool: connessioni non restituite (mancaclose()o un try-with-resources), oppuremaxTotaltroppo basso rispetto al numero di thread. UnaJedisConnectionExceptionche incapsulaSocketTimeoutException: Read timed outè un timeout di lettura, spesso il valore predefinito di 2.000 ms raggiunto a causa di un singolo comando lento del passaggio 2. - Lettuce.
RedisCommandTimeoutException: Command timed out after 1 minute(s)corrisponde al valore predefinito di 60 secondi, ed è il motivo per cui le richieste Lettuce restano appese invece di fallire subito. Lettuce esegue il multiplexing dei comandi su una sola connessione, quindi un singolo comando lento blocca la coda per tutti quelli che lo seguono. Durante una riconnessione i comandi si accodano in memoria e poi vanno in timeout tutti insieme. - StackExchange.Redis.
RedisTimeoutException: Timeout performing GET (5000ms), inst: 0, qu: 0, qs: 12, aw: False, in: 65536, ...si legge così:qssono i comandi inviati in attesa di risposta,qui comandi non ancora scritti,ini byte già ricevuti ma non ancora elaborati, emgrmostra lo stato del socket manager. Valori alti diininsieme a valori alti diqssignificano che la risposta è arrivata ma il client non è riuscito a leggerla: è starvation del thread pool, di solito causata da chiamate bloccanti su.Resulto.Wait()nel codice che gestisce le richieste web. Controllate la rigaWORKERnello stesso messaggio: un valore busy superiore a min ne è la conferma. - node-redis e ioredis. Entrambi separano il connect timeout dal comportamento dei comandi. ioredis ha
connectTimeout,commandTimeoutemaxRetriesPerRequest(20 per impostazione predefinita), quindiMaxRetriesPerRequestErrorsignifica che il ciclo di riconnessione si è arreso, non che Redis fosse lento. UnaretryStrategyche restituisce all'infinito un ritardo breve produce un'inondazione di log e non fa mai emergere l'errore reale. node-redis usareconnectStrategye, nelle versioni meno recenti, non ha un timeout per singolo comando, quindi un server bloccato produce promise appese anziché errori. - redis-py.
socket_connect_timeoutlimita l'handshake TCP;socket_timeoutlimita ogni lettura e per impostazione predefinita non ha valore, quindi una chiamata bloccata attende all'infinito.TimeoutError: Timeout reading from socketè il secondo caso.health_check_intervalinvia unPINGprima di riutilizzare una connessione inattiva, e risolve cosìConnectionError: Connection closed by serverdopo che un firewall ha chiuso i socket inattivi. - Client Go.
context deadline exceededè il context del chiamante, non il timeout del client, quindi controllateli entrambi.redis: connection pool timeoutsignifica che le goroutine superanoPoolSizee hanno atteso oltrePoolTimeoutuna connessione libera: aumentate il pool o trovate il leak di goroutine.
Se preferite affidare tutto questo a chi lo fa ogni giorno, il nostro team di supporto Redis è reperibile 24/7 con obiettivi di risposta da 15 minuti, in base al piano, e la consulenza Redis corregge il design alla base.
Assistenza per timeout del client e problemi di connessione con Redis
Avete timeout di Redis che non corrispondono a nulla di visibile nelle metriche del server? È esattamente il tipo di problema a più livelli (client, rete o server) che un assessment Redis strutturato è pensato per isolare, invece di procedere per tentativi. AceMQ offre supporto Redis enterprise per ambienti di produzione. Parlate con un ingegnere AceMQ.
Questo è il quarto dei sette passaggi della guida all'affidabilità di Redis, che affronta i problemi nell'ordine in cui si presentano in un ambiente di produzione.
Domande frequenti
Dove cercare se Redis va in timeout ma le metriche del server sono normali?
In tre punti, in ordine di probabilità: la configurazione del client (valori di timeout, dimensionamento del connection pool, comportamento dei retry), il percorso di rete (firewall, load balancer o dispositivi NAT che chiudono silenziosamente le connessioni inattive) e le chiavi di grandi dimensioni o i comandi bloccanti che fermano l'event loop single-thread. In un caso reale in produzione, un timeout client di 10 secondi è stato ricondotto interamente all'esaurimento delle risorse lato client, senza alcun errore o rallentamento corrispondente lato server.
Perché le connessioni a Redis cadono durante una specifica finestra di manutenzione?
È quasi sempre un sintomo a livello di rete, non un problema di Redis. Le manutenzioni programmate di firewall, load balancer o NAT gateway possono chiudere silenziosamente le connessioni TCP stabilite verso il cluster Redis. Per confermarlo, verificate se gli incidenti coincidono con una cadenza ricorrente anziché con il carico, e chiedete direttamente al team di rete quali sono le finestre di manutenzione.
Quali impostazioni lato client risolvono davvero i timeout di Redis?
Il TCP keepalive e la regolazione di retry e timeout a livello di client sono le due impostazioni che contano di più. Abilitare il TCP keepalive con un intervallo inferiore al timeout delle connessioni inattive del firewall o del NAT evita che le connessioni vengano chiuse senza preavviso, e configurare command timeout, keepalive a livello di socket e policy di retry nella libreria client (ad esempio Lettuce per Java/Spring) chiude il resto del divario.
Le chiavi di grandi dimensioni possono causare timeout in Redis?
Sì. Redis esegue i comandi su un solo thread, quindi un comando su un hash, un sorted set o una stringa molto grandi può bloccare l'event loop abbastanza a lungo da mettere in coda i comandi degli altri client fino al timeout. Per verificarlo eseguite redis-cli --bigkeys o MEMORY USAGE <key>, e tenete d'occhio HGETALL, SMEMBERS o LRANGE usati senza limiti su chiavi da diversi megabyte.
Qual è il metodo sistematico per diagnosticare un timeout del client Redis?
Confermate che il problema sia lato client controllando i log del server Redis e l'output di INFO alla ricerca di qualsiasi elemento correlato alla finestra del timeout. Poi verificate se c'è una correlazione con una pianificazione, confrontate la configurazione del client con la tolleranza alle connessioni inattive del vostro percorso di rete, escludete chiavi di grandi dimensioni e comandi bloccanti e, se il problema persiste, raccogliete evidenze a livello di pacchetto.
Per diagnosticare i timeout di Redis serve una competenza specifica su Redis?
Aiuta davvero, perché un timeout si presenta identico sia che la causa sia lato Redis, lato client o lato rete, e i team senza esperienza su Redis tendono a intervenire prima sul server. Entrambi i casi di produzione citati in questo articolo hanno richiesto il coordinamento tra i team applicativi, DevOps e di rete per isolare il livello effettivamente responsabile.