Torna a tutti i casi d'uso

AssessmentSoftware / Piattaforme digitali

Verificare se più memoria cache risolverebbe qualcosa prima di acquistarla

Fornitore di una piattaforma SaaS B2B

Assessment di dimensionamento, distribuzione delle chiavi e hit rate di Memcached per stabilire se aggiungere capacità sarebbe davvero servito.

Panoramica

Un fornitore SaaS era sul punto di raddoppiare l'infrastruttura Memcached per migliorare un hit rate deludente. AceMQ ha prima valutato il tier di cache per stabilire se la capacità fosse davvero il vincolo.

Sfida

L'hit rate aggregato appariva scarso, il che rendeva l'aumento della memoria la risposta più ovvia. Il dato aggregato nascondeva però due problemi distinti. Una quota significativa delle get riguardava chiavi lette una sola volta, cioè cache miss per definizione, che nessuna quantità di memoria può risolvere. Inoltre la distribuzione delle chiavi sul ring era fortemente squilibrata, perché una differenza nella configurazione di hashing tra due librerie client faceva sì che alcuni nodi fossero vicini alla saturazione e in eviction mentre altri restavano mezzi vuoti.

Ambiente

Tier Memcached su AWS a cui accedono servizi scritti in due linguaggi con librerie client diverse.

Approccio

L'assessment scompone l'hit rate per pattern di chiave invece di trattarlo come un unico numero, e misura l'effettiva distribuzione di chiavi e memoria per nodo. In questo modo si separa il traffico davvero non memorizzabile in cache dal workload che trarrebbe beneficio da più memoria, e si fanno emergere i problemi di distribuzione che l'aggiunta di nodi non risolverebbe.

Soluzione

  1. Hit rate scomposto per prefisso di chiave e pattern di accesso, separando le chiavi lette una sola volta da quelle davvero riutilizzabili
  2. Misurati numero di chiavi e distribuzione della memoria per nodo, per far emergere lo squilibrio del ring
  3. Configurazione di hashing delle librerie client confrontata tra i due linguaggi, individuando la discrepanza che causava lo squilibrio
  4. Dimensione del working set stimata per classe di chiavi, così che i requisiti di capacità si basino su misurazioni e non su un raddoppio a intuito
  5. Individuati i pattern di accesso non memorizzabili in cache e restituiti ai team applicativi come candidati da rimuovere dal percorso della cache
  6. Raccomandazione di dimensionamento con l'hit rate atteso per ciascuna opzione, inclusa quella di non aggiungere alcuna capacità

Esito

La correzione della discrepanza di hashing lato client ha ribilanciato il ring e aumentato sensibilmente l'hit rate senza nuovo hardware. Il raddoppio della capacità previsto è stato annullato e al suo posto è stato pianificato un aumento contenuto, mirato a una sola classe di chiavi.

Tecnologie

MemcachedLinuxMySQLTerraform

Pronti per un health check di Memcached?

Gli ingegneri Memcached senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.