Torna a tutti i casi d'uso

RemediationSoftware / Piattaforme digitali

Una crescita della memoria che sembrava un problema di carico si è rivelata un bug di indicizzazione

Piattaforma di collaborazione digitale

Un cluster Redis di produzione andava in crash per una crescita della memoria riconducibile all'indice full-text e non al carico di lavoro. AceMQ ha diagnosticato il leak, stabilizzato il cluster e tracciato il percorso di migrazione a Valkey.

Panoramica

Una piattaforma di collaborazione utilizzava Redis come livello di sessione e di ricerca dietro un prodotto rivolto ai clienti. La memoria cresceva costantemente tra un riavvio e l'altro fino al crash del cluster, e il fenomeno era sopravvissuto a diversi cicli di ridimensionamento.

Sfida

Aggiungere memoria non serviva, perché la crescita non era proporzionale al traffico. Il cluster aveva inoltre un limite di memoria impostato senza unità di misura, per cui il limite previsto non veniva mai applicato. I riavvii liberavano memoria ma facevano perdere le sessioni.

Ambiente

Redis containerizzato con repliche e failover basato su Sentinel, in esecuzione in un ambiente cloud gestito dietro un carico di scrittura ad alta frequenza.

Approccio

Gli ingegneri AceMQ hanno riprodotto la crescita in un cluster di CI, l'hanno isolata nell'indice full-text eliminando e ricostruendo l'indice e osservando la memoria tornare ai livelli normali, e hanno confermato che il comportamento corrispondeva a un difetto noto nella versione del modulo di ricerca in uso. Un riavvio scaglionato delle repliche prima del master ha dato al team una mitigazione provvisoria sicura mentre si valutava il percorso di aggiornamento.

Soluzione

  1. Riproduzione della crescita della memoria in un cluster non di produzione per isolarne la causa
  2. Individuazione del leak nel modulo di ricerca full-text anziché nel carico applicativo
  3. Correzione di un limite di memoria configurato senza unità di misura
  4. Impostazione di una policy di eviction esplicita, così che il cluster degradi invece di andare in crash
  5. Introduzione di riavvii scaglionati, prima le repliche e poi il master, per evitare rischi di failover
  6. Valutazione di Valkey come percorso supportato a lungo termine, con rollout controllato tramite feature flag

Esito

La crescita della memoria ha smesso di essere un incidente. Il cluster è rimasto stabile tra una finestra di manutenzione e l'altra, il team ha ottenuto una mitigazione documentata da applicare in autonomia e la migrazione a Valkey è proseguita come modifica pianificata anziché come emergenza.

Tecnologie

ValkeyRedisKubernetes

Avete un problema di produzione su Valkey?

Gli ingegneri Valkey senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.