Panoramica
Una piattaforma di bidding operava con un budget di latenza rigido per singola richiesta e perdeva aste per timeout a intervalli regolari. La latenza media di Redis sembrava nella norma; il p99.9 mostrava invece picchi di diverse centinaia di millisecondi che si ripresentavano a intervalli fissi. AceMQ è stata coinvolta nell'ambito dello SLA di emergenza.
Sfida
L'intervallo dei picchi coincideva con la pianificazione degli snapshot RDB. Il fork di un processo Redis di grandi dimensioni copia le tabelle delle pagine e, con le transparent huge pages abilitate, il costo del copy-on-write dopo il fork veniva moltiplicato: ogni scrittura su una huge page condivisa imponeva una copia di due megabyte invece che di quattro kilobyte. L'effetto era invisibile nella latenza media e compariva solo nella coda della distribuzione, proprio dove si giocava questo carico di lavoro.
Ambiente
Redis su host Linux bare metal che servono decisioni di real-time bidding con un budget di latenza stringente.
Approccio
AceMQ ha messo in correlazione gli istanti dei picchi con la durata del fork registrata nei log di Redis e con le statistiche di memoria del kernel, per confermare il meccanismo anziché ipotizzarlo. Le correzioni hanno riguardato la configurazione degli host, la strategia di persistenza e l'impronta di memoria che rendeva costoso ogni fork.
Soluzione
- Correlazione dei picchi di latenza di coda con la durata del fork registrata e con le statistiche di memoria del kernel per confermare il meccanismo
- Disattivazione delle transparent huge pages sugli host Redis e verifica dell'effetto sul costo del fork
- Spostamento degli snapshot sulle repliche, così che il primario non esegua più fork sul percorso di servizio
- Revisione della strategia di persistenza e delle soglie di rewrite rispetto ai requisiti reali di durabilità della piattaforma
- Riduzione dell'impronta di memoria per istanza tramite modifiche alla struttura delle chiavi, così che ogni fork residuo costi meno
- Strumentazione dei percentili di latenza di coda e della durata del fork come segnali monitorati di primo piano
Esito
I picchi periodici di latenza di coda sono scomparsi e la latenza al p99.9 è rientrata nel budget della piattaforma. Sono cessati i timeout delle aste attribuibili al livello di cache.