Panoramica
Un processore di pagamenti eseguiva il repair tramite un cron job che lanciava un full repair su tutti i keyspace. Le esecuzioni superavano regolarmente la finestra di gc_grace_seconds, si sovrapponevano tra loro e venivano terminate quando saturavano l'I/O del cluster. Nessuno era in grado di dire quando il ring fosse stato riparato completamente l'ultima volta. AceMQ ha preso in carico il supporto con ingegneri senior dedicati.
Sfida
Un repair che non si completa entro gc_grace_seconds non è un problema di manutenzione ordinaria: significa che i dati cancellati possono riapparire dopo che la compaction ha eliminato i tombstone su alcune repliche ma non su altre. I full repair su un ring multi-datacenter di grandi dimensioni erano troppo onerosi per arrivare in fondo, e lo streaming che generavano entrava in competizione diretta con il traffico di produzione.
Ambiente
Apache Cassandra multi-datacenter distribuito tra on-premises e cloud, a supporto dei dati di ledger transazionale e di settlement.
Approccio
AceMQ ha sostituito il repair dell'intero ring con un repair incrementale, segmentato e pianificato, dosabile in base al margine disponibile sul cluster e riprendibile dopo un'interruzione. Strategia di compaction e impostazioni di throughput sono state ritarate tabella per tabella, così che repair e compaction smettessero di contendersi lo stesso I/O.
Soluzione
- Sostituiti i full repair lanciati da cron con un orchestratore di repair segmentato e pianificato, che riprende anziché ripartire da capo
- Repair dosato in base al margine disponibile sul cluster, così da non saturare più l'I/O durante l'orario lavorativo
- Strategia di compaction ritarata per ciascuna tabella sui reali pattern di lettura, scrittura e cancellazione, anziché sul default
- Impostazioni di throughput della compaction e dei compactor concorrenti adeguate allo storage sottostante
- Tempo di completamento del repair per keyspace rispetto a gc_grace_seconds strumentato come metrica monitorata e soggetta ad alert
- Escalation 24/7 verso ingegneri Cassandra senior, senza alcun triage di livello 1 nel percorso
Esito
Il repair ora si completa ampiamente entro gc_grace_seconds su ogni keyspace, e il completamento viene misurato come metrica anziché dato per scontato. Il rischio di resurrezione dei dati che il cluster si portava dietro è stato eliminato, e il repair non degrada più la latenza di produzione mentre è in esecuzione.