Torna a tutti i casi d'uso

SupportoServizi finanziari / Pagamenti

Repair che arrivano in fondo, con una pianificazione che potete dimostrare

Processore globale di pagamenti

Supporto continuativo per un anti-entropy repair che non si completava mai entro gc_grace_seconds, esponendo il cluster alla ricomparsa di dati cancellati.

Panoramica

Un processore di pagamenti eseguiva il repair tramite un cron job che lanciava un full repair su tutti i keyspace. Le esecuzioni superavano regolarmente la finestra di gc_grace_seconds, si sovrapponevano tra loro e venivano terminate quando saturavano l'I/O del cluster. Nessuno era in grado di dire quando il ring fosse stato riparato completamente l'ultima volta. AceMQ ha preso in carico il supporto con ingegneri senior dedicati.

Sfida

Un repair che non si completa entro gc_grace_seconds non è un problema di manutenzione ordinaria: significa che i dati cancellati possono riapparire dopo che la compaction ha eliminato i tombstone su alcune repliche ma non su altre. I full repair su un ring multi-datacenter di grandi dimensioni erano troppo onerosi per arrivare in fondo, e lo streaming che generavano entrava in competizione diretta con il traffico di produzione.

Ambiente

Apache Cassandra multi-datacenter distribuito tra on-premises e cloud, a supporto dei dati di ledger transazionale e di settlement.

Approccio

AceMQ ha sostituito il repair dell'intero ring con un repair incrementale, segmentato e pianificato, dosabile in base al margine disponibile sul cluster e riprendibile dopo un'interruzione. Strategia di compaction e impostazioni di throughput sono state ritarate tabella per tabella, così che repair e compaction smettessero di contendersi lo stesso I/O.

Soluzione

  1. Sostituiti i full repair lanciati da cron con un orchestratore di repair segmentato e pianificato, che riprende anziché ripartire da capo
  2. Repair dosato in base al margine disponibile sul cluster, così da non saturare più l'I/O durante l'orario lavorativo
  3. Strategia di compaction ritarata per ciascuna tabella sui reali pattern di lettura, scrittura e cancellazione, anziché sul default
  4. Impostazioni di throughput della compaction e dei compactor concorrenti adeguate allo storage sottostante
  5. Tempo di completamento del repair per keyspace rispetto a gc_grace_seconds strumentato come metrica monitorata e soggetta ad alert
  6. Escalation 24/7 verso ingegneri Cassandra senior, senza alcun triage di livello 1 nel percorso

Esito

Il repair ora si completa ampiamente entro gc_grace_seconds su ogni keyspace, e il completamento viene misurato come metrica anziché dato per scontato. Il rischio di resurrezione dei dati che il cluster si portava dietro è stato eliminato, e il repair non degrada più la latenza di produzione mentre è in esecuzione.

Tecnologie

Apache CassandraReaperPrometheusKubernetes

Vi serve supporto specialistico per Apache Cassandra?

Gli ingegneri Apache Cassandra senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.