Panoramica
Un ente della pubblica amministrazione gestiva un cluster Cassandra ereditato da un incarico con un fornitore concluso anni prima. La documentazione era scarsa e al team operativo non era mai stata fornita una baseline. AceMQ ha valutato il cluster rispetto al carico di lavoro attuale e alla crescita prevista.
Sfida
Valutare un cluster ereditato significa distinguere le scelte di progettazione deliberate da quelle accumulate per caso. Fattore di replica e livelli di consistenza andavano verificati rispetto alla durabilità realmente richiesta dall'ente, la distribuzione dei token andava controllata alla ricerca di hot spot, e il comportamento della JVM e della garbage collection andava misurato sotto carico reale anziché dedotto dalle impostazioni.
Ambiente
Cluster Apache Cassandra on-premise a supporto di carichi di lavoro di gestione delle pratiche e conservazione documentale.
Approccio
AceMQ ha raccolto evidenze dal cluster in esercizio (ownership dei token, distribuzione del carico per nodo, distribuzione delle pause di garbage collection, backlog delle compaction e code dei task in sospeso) e le ha valutate rispetto ai requisiti di durabilità e disponibilità dell'ente. I rilievi sono stati ordinati in base a quanto ciascuno fosse vicino a causare un incidente.
Soluzione
- Verifica dell'ownership dei token e della distribuzione del carico per nodo per individuare hot spot e nodi sbilanciati
- Revisione del fattore di replica e dei livelli di consistenza rispetto ai requisiti reali di durabilità dell'ente
- Misurazione della distribuzione delle pause di garbage collection e del comportamento dell'heap sotto il carico di produzione
- Valutazione del backlog delle compaction, dei task in sospeso e del numero di SSTable per tabella per individuare il debito accumulato
- Valutazione della copertura delle repair e dello storico del loro completamento rispetto a gc_grace_seconds
- Proiezione del margine di capacità rispetto alla crescita e consegna di una roadmap di interventi ordinata per rischio
Esito
L'ente ha ottenuto una baseline che non aveva mai avuto, con gli elementi più vicini a causare un disservizio individuati e messi in sequenza. Di conseguenza sono state corrette diverse scelte di configurazione ereditate, tra cui livelli di consistenza che non corrispondevano al requisito di durabilità dichiarato.