Torna a tutti i casi d'uso

SupportoTrasversale

Supporto ClickHouse 24/7 con ingegneri senior e obiettivi di risposta da 15 minuti, in base al piano

Fornitore di analytics per la cybersecurity

Supporto continuativo per cluster ReplicatedMergeTree, che copre blocchi della replication queue, errori per limiti di memoria sulle query di grandi dimensioni e backlog di mutation.

Panoramica

Un fornitore di analytics per la sicurezza gestiva tabelle ReplicatedMergeTree su un cluster multi-shard. Le replication queue si bloccavano dietro voci incastrate, le query ad hoc degli analisti superavano i limiti di memoria e fallivano, e le mutation di cancellazione si accumulavano senza completarsi. AceMQ ha preso in carico il supporto con ingegneri senior dedicati e senza triage di livello 1.

Sfida

Le modalità di guasto di ClickHouse sono poco familiari ai team che provengono da database row-store. Una voce bloccata nella replication queue ferma tutto ciò che la segue e richiede un intervento mirato. Agli errori per limiti di memoria sulle query degli analisti si rispondeva alzando i limiti, il che spingeva invece il cluster verso una pressione sulla memoria a livello di host. Le mutation venivano lanciate come normali cancellazioni, senza considerare il costo di riscrittura che comportano.

Ambiente

ClickHouse su Kubernetes con coordinamento tramite ClickHouse Keeper, al servizio della ricerca e dell'analisi degli eventi di sicurezza.

Approccio

AceMQ ha definito procedure di diagnosi per ciascuna classe di guasti ricorrenti, così che il team del cliente potesse gestire direttamente i casi comuni, riservando l'escalation agli incidenti davvero nuovi. I controlli a livello di query hanno sostituito gli aumenti generalizzati dei limiti di memoria, e l'uso delle mutation è stato ricondotto a una policy.

Soluzione

  1. Definite procedure di diagnosi e ripristino per le voci bloccate nella replication queue e per i problemi di sessione di Keeper
  2. Sostituiti gli aumenti generalizzati dei limiti di memoria con limiti per query e per utente, più uno spilling su disco controllato
  3. Riscritte le query degli analisti più costose perché usino projection e tabelle aggregate invece di full scan
  4. Definita una policy sulle mutation che copre batching, pianificazione e i casi in cui la scadenza basata su TTL è lo strumento migliore
  5. Ritardo di replica, backlog di mutation e uso della memoria per query strumentati come segnali monitorati
  6. Garantita un'escalation 24/7 diretta a ingegneri ClickHouse senior con obiettivi di risposta da 15 minuti, in base al piano

Esito

I blocchi della replica vengono ora rilevati e risolti prima che influiscano sui risultati delle query, e gli errori delle query legati alla memoria sono scesi a una piccola frazione del tasso precedente. Il team del cliente risolve la maggior parte dei casi ricorrenti con i runbook, senza escalation.

Tecnologie

ClickHouseClickHouse KeeperKubernetesPrometheus

Vi serve supporto specialistico per ClickHouse?

Gli ingegneri ClickHouse senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.