Panoramica
Un fornitore di analytics per la sicurezza gestiva tabelle ReplicatedMergeTree su un cluster multi-shard. Le replication queue si bloccavano dietro voci incastrate, le query ad hoc degli analisti superavano i limiti di memoria e fallivano, e le mutation di cancellazione si accumulavano senza completarsi. AceMQ ha preso in carico il supporto con ingegneri senior dedicati e senza triage di livello 1.
Sfida
Le modalità di guasto di ClickHouse sono poco familiari ai team che provengono da database row-store. Una voce bloccata nella replication queue ferma tutto ciò che la segue e richiede un intervento mirato. Agli errori per limiti di memoria sulle query degli analisti si rispondeva alzando i limiti, il che spingeva invece il cluster verso una pressione sulla memoria a livello di host. Le mutation venivano lanciate come normali cancellazioni, senza considerare il costo di riscrittura che comportano.
Ambiente
ClickHouse su Kubernetes con coordinamento tramite ClickHouse Keeper, al servizio della ricerca e dell'analisi degli eventi di sicurezza.
Approccio
AceMQ ha definito procedure di diagnosi per ciascuna classe di guasti ricorrenti, così che il team del cliente potesse gestire direttamente i casi comuni, riservando l'escalation agli incidenti davvero nuovi. I controlli a livello di query hanno sostituito gli aumenti generalizzati dei limiti di memoria, e l'uso delle mutation è stato ricondotto a una policy.
Soluzione
- Definite procedure di diagnosi e ripristino per le voci bloccate nella replication queue e per i problemi di sessione di Keeper
- Sostituiti gli aumenti generalizzati dei limiti di memoria con limiti per query e per utente, più uno spilling su disco controllato
- Riscritte le query degli analisti più costose perché usino projection e tabelle aggregate invece di full scan
- Definita una policy sulle mutation che copre batching, pianificazione e i casi in cui la scadenza basata su TTL è lo strumento migliore
- Ritardo di replica, backlog di mutation e uso della memoria per query strumentati come segnali monitorati
- Garantita un'escalation 24/7 diretta a ingegneri ClickHouse senior con obiettivi di risposta da 15 minuti, in base al piano
Esito
I blocchi della replica vengono ora rilevati e risolti prima che influiscano sui risultati delle query, e gli errori delle query legati alla memoria sono scesi a una piccola frazione del tasso precedente. Il team del cliente risolve la maggior parte dei casi ricorrenti con i runbook, senza escalation.