Torna a tutti i casi d'uso

SupportoSoftware / Piattaforme digitali

Superare il momento in cui la cache si svuota

Piattaforma di media digitali

Supporto continuativo per un livello Memcached soggetto a picchi di carico sul database di tipo thundering herd dopo modifiche ai nodi e ondate di scadenze della cache.

Panoramica

Una piattaforma di media digitali subiva ripetuti disservizi del database ogni volta che un nodo Memcached veniva sostituito o un grande blocco di chiavi scadeva contemporaneamente. AceMQ fornisce un supporto continuativo che copre il livello di cache e i pattern applicativi che lo circondano.

Sfida

La perdita di un nodo in un anello a consistent hashing rimappa la sua quota di chiavi, e ogni chiave rimappata genera un miss nello stesso istante. Senza protezione contro la rigenerazione concorrente, migliaia di richieste ricalcolavano simultaneamente lo stesso valore costoso, saturando il database. Lo stesso accadeva con le ondate di scadenze, perché le chiavi popolate insieme durante un deployment avevano lo stesso TTL e quindi scadevano insieme. La normale manutenzione dei nodi era diventata un problema di approvazione delle modifiche.

Ambiente

Livello Memcached su AWS davanti a un database relazionale, server applicativi su Kubernetes con deployment frequenti.

Approccio

Il supporto in questo caso abbraccia sia la cache sia i pattern applicativi che la utilizzano, perché la protezione dagli stampede è una questione applicativa che la sola cache non può risolvere. Lavoriamo con gli ingegneri del cliente su request coalescing e jitter dei TTL, e rendiamo le modifiche alla topologia dei nodi un'operazione controllata anziché un evento imprevisto.

Soluzione

  1. Supporto 24/7 con obiettivi di risposta da 15 minuti, in base al piano, e ingegneri senior dedicati che conoscono la topologia della cache e i suoi consumer
  2. Request coalescing aggiunto a livello applicativo, così che un solo chiamante rigeneri un valore mancante mentre gli altri attendono
  3. Jitter applicato ai TTL, così che le chiavi popolate insieme non scadano insieme generando un'ondata di scadenze
  4. Revisione della configurazione del consistent hashing, così che le modifiche ai nodi rimappino la quota di chiavi più piccola possibile
  5. Procedura controllata di aggiunta e rimozione dei nodi con pre-riscaldamento della cache, al posto delle sostituzioni non pianificate
  6. Monitoraggio per nodo di hit rate, eviction e get-miss, così che un nodo in degrado venga individuato prima di essere perso

Esito

La sostituzione di un nodo non provoca più picchi di carico sul database e le ondate di scadenze sono scomparse dopo l'introduzione del jitter sui TTL. La manutenzione della cache è passata da evento soggetto ad approvazione delle modifiche a normale attività operativa.

Tecnologie

MemcachedLinuxPostgreSQLKubernetes

Vi serve supporto specialistico per Memcached?

Gli ingegneri Memcached senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.