Panoramica
Una piattaforma di pagamenti ha iniziato a registrare blocchi di più secondi su scritture che in precedenza si completavano in pochi millisecondi. Le metriche del server mostravano la cache WiredTiger ferma alla soglia di attivazione dell'eviction, con i thread applicativi reclutati per espellere le pagine. Gli ingegneri AceMQ sono stati coinvolti nell'ambito degli obiettivi di risposta da 15 minuti, in base al piano, e hanno gestito l'incidente insieme al team DBA del cliente.
Sfida
Il working set era cresciuto oltre l'allocazione della cache WiredTiger, quindi le letture non trovate in cache forzavano l'eviction di pagine dirty sul percorso critico. Quando i thread applicativi hanno iniziato a partecipare all'eviction, la latenza è salita in modo non lineare e i connection pool a monte si sono saturati. Il team lo trattava come un problema di rete, perché il sintomo si manifestava come timeout lato client e non come query lente.
Ambiente
Replica set MongoDB su bare metal a supporto di un servizio di autorizzazione delle transazioni ad alto volume.
Approccio
AceMQ ha messo in correlazione i contatori di eviction di serverStatus, la percentuale di dati dirty in cache e la durata dei checkpoint con l'istogramma della latenza applicativa, per confermare che la causa principale fosse l'eviction e non il disco o la rete. Da lì il lavoro si è diviso tra un alleggerimento immediato della pressione e correzioni durature all'ingombro di indici e documenti, così che il working set tornasse a stare nella cache.
Soluzione
- Correlazione di contatori di eviction WiredTiger, rapporto di dati dirty in cache e durata dei checkpoint con la latenza lato client per isolare il vero collo di bottiglia
- Nuova taratura di cacheSizeGB in base alla memoria effettiva dell'host e ai limiti dei container, invece della regola predefinita della metà della RAM
- Individuazione ed eliminazione degli indici composti ridondanti che occupavano cache senza servire alcuna forma di query
- Revisione delle due collection più pesanti per ridurre la dimensione dei documenti ed eliminare la crescita illimitata degli array
- Aggiunta di pressione di eviction, percentuale di dati dirty in cache e durata dei checkpoint alla baseline di alerting, così la condizione viene intercettata prima di arrivare ai thread applicativi
Esito
L'eviction è tornata ai thread in background e la latenza di scrittura è rientrata nei valori normali, eliminando del tutto i timeout lato client. Il cliente dispone ora di un segnale di preallarme sulla pressione della cache e di un modello di dimensionamento documentato per la crescita futura dei dati.