Panoramica
Un fornitore di telematica usava una tabella Cassandra come coda di lavoro, scrivendo righe e cancellandole dopo l'elaborazione. Le query di lettura hanno iniziato ad andare in timeout perché i coordinator scansionavano decine di migliaia di tombstone per restituire poche righe vive. AceMQ è stata coinvolta nell'ambito dello SLA di emergenza.
Sfida
I tombstone restano leggibili finché non trascorre gc_grace_seconds e la compaction non li rimuove, un meccanismo che esiste per evitare che i dati cancellati ricompaiano su un nodo che non ha ricevuto la cancellazione. I repair non si completavano più su tutto il ring, quindi abbassare gc_grace_seconds comportava un rischio concreto di resurrezione dei dati. Il team aveva alzato le soglie di warning e di errore sui tombstone, nascondendo il sintomo mentre il costo reale della scansione continuava a crescere.
Ambiente
Cluster Apache Cassandra multi-datacenter su bare metal che acquisisce telemetria dei veicoli ad alto volume.
Approccio
AceMQ ha separato gli interventi di sollievo immediato dalla soluzione duratura. Far completare i repair in modo affidabile era il prerequisito per qualsiasi modifica a gc_grace_seconds, e la modifica del modello dati era necessaria perché una coda su una partizione larga genera tombstone più velocemente di quanto la compaction riesca a eliminarli, a prescindere dalle impostazioni.
Soluzione
- Individuazione delle partizioni e delle forme di query specifiche che scansionavano il maggior numero di tombstone
- Ripristino del completamento affidabile dei repair su tutto il ring come prerequisito per intervenire su gc_grace_seconds
- Spostamento del carico a coda dal pattern a partizione larga a partizioni suddivise per intervalli di tempo con scadenza basata su TTL
- Passaggio delle tabelle interessate a una strategia di compaction adatta al pattern di scritture e cancellazioni
- Ripristino delle soglie sui tombstone ai valori originali, così la condizione torna a emergere invece di essere nascosta
- Compaction mirata per eliminare l'arretrato di tombstone esistente durante una finestra controllata
Esito
I read timeout sulle tabelle interessate sono cessati e la latenza di lettura p99 è scesa sensibilmente, con un numero di tombstone scansionati ridotto di ordini di grandezza. I repair ora si completano nei tempi previsti, il che ha eliminato anche il rischio di resurrezione dei dati che il cliente correva senza saperlo.