Panoramica
Un fornitore di dati di mercato stava integrando nuovi feed di borsa che avrebbero moltiplicato il volume archiviato. Invece di scalare il cluster in proporzione, ha incaricato AceMQ di stabilire quali componenti dovessero davvero crescere e quali fossero configurati male.
Sfida
Scalare bene ClickHouse richiede di sapere quale risorsa rappresenti davvero il vincolo. Throughput dei merge, concorrenza delle query, carico di coordinamento di Keeper e banda dello storage cedono ciascuno in modo diverso e vengono spesso confusi tra loro. Il cluster esistente non era mai stato profilato sotto carico sostenuto, per cui nessuno sapeva quale vincolo sarebbe arrivato per primo.
Ambiente
ClickHouse su hardware on-premises e object storage in cloud, al servizio di query su dati di mercato storici e intraday.
Approccio
AceMQ ha profilato il cluster sotto un carico sostenuto rappresentativo anziché con benchmark sintetici, monitorando contemporaneamente throughput dei merge, accodamento delle query, latenza delle richieste a Keeper e banda dello storage per capire quale risorsa si saturasse per prima. I risultati sono stati messi in relazione con l'aumento di volume previsto.
Soluzione
- Cluster profilato sotto un carico sostenuto rappresentativo per individuare la risorsa che si satura per prima
- Revisione della topologia di shard e repliche rispetto ai requisiti di routing delle query e di tolleranza ai guasti
- Valutazione di deployment, latenza delle richieste e carico di coordinamento di Keeper come vincolo di scalabilità a sé stante
- Valutazione della configurazione dello storage tiering e dello spostamento delle part più vecchie sull'object storage
- Revisione dei limiti di concorrenza delle query, del comportamento delle code e dei controlli sulle risorse per utente
- Fornito un modello di capacità che collega il volume di dati previsto ad azioni di scaling specifiche e alla loro sequenza
Esito
Il fornitore ha integrato i nuovi feed con uno scaling mirato invece di un'espansione proporzionale del cluster. Due vincoli che si sarebbero manifestati prima dello storage, il coordinamento di Keeper e il throughput dei merge, sono stati risolti in anticipo rispetto all'aumento.