Torna a tutti i casi d'uso

RemediationManifattura / Automotive

Correggere il pattern di accesso, non limitarsi ad alzare la soglia dei tombstone

Fornitore di telematica per veicoli connessi

Risoluzione dei read timeout causati dall'accumulo di tombstone su partizioni usate come code, dove le cancellazioni superavano il ritmo della compaction e gc_grace_seconds.

Panoramica

Un fornitore di telematica usava una tabella Cassandra come coda di lavoro, scrivendo righe e cancellandole dopo l'elaborazione. Le query di lettura hanno iniziato ad andare in timeout perché i coordinator scansionavano decine di migliaia di tombstone per restituire poche righe vive. AceMQ è stata coinvolta nell'ambito dello SLA di emergenza.

Sfida

I tombstone restano leggibili finché non trascorre gc_grace_seconds e la compaction non li rimuove, un meccanismo che esiste per evitare che i dati cancellati ricompaiano su un nodo che non ha ricevuto la cancellazione. I repair non si completavano più su tutto il ring, quindi abbassare gc_grace_seconds comportava un rischio concreto di resurrezione dei dati. Il team aveva alzato le soglie di warning e di errore sui tombstone, nascondendo il sintomo mentre il costo reale della scansione continuava a crescere.

Ambiente

Cluster Apache Cassandra multi-datacenter su bare metal che acquisisce telemetria dei veicoli ad alto volume.

Approccio

AceMQ ha separato gli interventi di sollievo immediato dalla soluzione duratura. Far completare i repair in modo affidabile era il prerequisito per qualsiasi modifica a gc_grace_seconds, e la modifica del modello dati era necessaria perché una coda su una partizione larga genera tombstone più velocemente di quanto la compaction riesca a eliminarli, a prescindere dalle impostazioni.

Soluzione

  1. Individuazione delle partizioni e delle forme di query specifiche che scansionavano il maggior numero di tombstone
  2. Ripristino del completamento affidabile dei repair su tutto il ring come prerequisito per intervenire su gc_grace_seconds
  3. Spostamento del carico a coda dal pattern a partizione larga a partizioni suddivise per intervalli di tempo con scadenza basata su TTL
  4. Passaggio delle tabelle interessate a una strategia di compaction adatta al pattern di scritture e cancellazioni
  5. Ripristino delle soglie sui tombstone ai valori originali, così la condizione torna a emergere invece di essere nascosta
  6. Compaction mirata per eliminare l'arretrato di tombstone esistente durante una finestra controllata

Esito

I read timeout sulle tabelle interessate sono cessati e la latenza di lettura p99 è scesa sensibilmente, con un numero di tombstone scansionati ridotto di ordini di grandezza. I repair ora si completano nei tempi previsti, il che ha eliminato anche il rischio di resurrezione dei dati che il cliente correva senza saperlo.

Tecnologie

Apache CassandraKubernetesPrometheusLinux

Avete un problema di produzione su Apache Cassandra?

Gli ingegneri Apache Cassandra senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.