Torna a tutti i casi d'uso

RemediationSoftware / Piattaforme digitali

Eviction in aumento mentre la cache dichiara memoria in abbondanza

Piattaforma di commercio digitale

Intervento d'emergenza su un livello Memcached che espelleva le chiavi più richieste pur segnalando memoria libera, con la causa individuata nell'allocazione delle slab class.

Panoramica

L'hit rate della cache di una piattaforma di e-commerce è crollato dopo una modifica al formato degli oggetti serializzati, e le eviction sono aumentate bruscamente nonostante i server segnalassero memoria inutilizzata. Il database ha assorbito il carico risultante e la latenza delle pagine ne ha risentito.

Sfida

Memcached assegna la memoria alle slab class in base alla dimensione degli elementi e, per impostazione predefinita, una pagina assegnata a una classe vi resta. La modifica alla serializzazione aveva spostato l'elemento tipico in una classe di dimensione diversa da quella che deteneva quasi tutte le pagine allocate. La nuova classe si è riempita e ha iniziato a espellere elementi quasi subito, mentre la vecchia restava in gran parte vuota: la firma classica della calcification. La memoria totale sembrava a posto su ogni dashboard, ed è per questo che il team aveva escluso la capacità tra le possibili cause.

Ambiente

Livello Memcached davanti a un database relazionale per il caching di sessioni e oggetti, application server su Kubernetes.

Approccio

Abbiamo letto le statistiche per singola slab class invece dei valori aggregati di memoria, e lo squilibrio è risultato evidente in pochi minuti. Il sollievo immediato è arrivato abilitando lo slab rebalancing, così che le pagine potessero migrare tra le classi. La soluzione duratura è stata dimensionare gli elementi in modo consapevole e monitorare le metriche che rivelano davvero questa modalità di guasto.

Soluzione

  1. Statistiche per slab class analizzate per far emergere la contraddizione tra eviction e memoria libera che le metriche aggregate nascondevano
  2. Slab rebalancing automatico abilitato, così le pagine migrano tra le classi di dimensione al variare del carico di lavoro
  3. Growth factor e dimensionamento dei chunk rivisti in base alla reale distribuzione delle dimensioni degli elementi anziché ai valori predefiniti
  4. Dimensioni degli oggetti serializzati ridotte a livello applicativo, così gli elementi rientrano in modo prevedibile in una classe
  5. Aggiunto il monitoraggio di eviction e numero di pagine per classe, al posto del grafico aggregato della memoria che nascondeva il problema
  6. Definita una procedura di riavvio e warm-up, così il riavvio della cache non scatena una valanga di richieste sul database

Esito

L'hit rate è tornato al livello precedente entro un'ora e le eviction sulla classe più sollecitata sono scese quasi a zero. Il carico di lettura sul database è tornato alla normalità, e da allora il monitoraggio per classe ha segnalato un secondo spostamento di dimensione prima che causasse alcun impatto.

Tecnologie

MemcachedLinuxMySQLKubernetes

Avete un problema di produzione su Memcached?

Gli ingegneri Memcached senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.