Überblick
Ein Anbieter von Marktdaten nahm zusätzliche Börsen-Feeds auf, die das gespeicherte Volumen vervielfachen würden. Statt den Cluster proportional zu skalieren, beauftragte er AceMQ zu ermitteln, welche Teile wirklich wachsen mussten und welche falsch konfiguriert waren.
Herausforderung
Um ClickHouse gut zu skalieren, muss man wissen, welche Ressource tatsächlich limitiert. Merge-Durchsatz, Abfrage-Concurrency, Koordinationslast auf Keeper und Storage-Bandbreite versagen jeweils auf eigene Weise und werden häufig miteinander verwechselt. Der bestehende Cluster war nie unter Dauerlast vermessen worden, sodass niemand wusste, was zuerst limitieren würde.
Umgebung
ClickHouse auf On-Premises-Hardware und Cloud Object Storage für Abfragen auf historische und Intraday-Marktdaten.
Vorgehen
AceMQ vermaß den Cluster unter repräsentativer Dauerlast statt mit synthetischen Benchmarks und beobachtete Merge-Durchsatz, Queueing der Abfragen, Request-Latenz von Keeper und Storage-Bandbreite gleichzeitig, um zu sehen, was zuerst sättigt. Die Befunde wurden dem prognostizierten Anstieg des Volumens gegenübergestellt.
Lösung
- Cluster unter repräsentativer Dauerlast vermessen, um die Ressource zu identifizieren, die zuerst sättigt
- Shard- und Replica-Topologie anhand der Anforderungen an Query Routing und Ausfalltoleranz geprüft
- Keeper-Deployment, Request-Latenz und Koordinationslast als eigenständige Skalierungsgrenze bewertet
- Konfiguration des Tiered Storage und die Verlagerung gealterter Parts in den Object Storage bewertet
- Concurrency-Limits für Abfragen, Queueing-Verhalten und Ressourcenkontrollen je Benutzer geprüft
- Kapazitätsmodell geliefert, das das prognostizierte Datenvolumen mit konkreten Skalierungsschritten und ihrer Reihenfolge verknüpft
Resultat
Der Anbieter nahm die zusätzlichen Feeds mit gezielter Skalierung statt mit einer proportionalen Cluster-Erweiterung auf. Zwei Engpässe, die noch vor dem Storage gegriffen hätten – Koordination über Keeper und Merge-Durchsatz –, wurden vor dem Anstieg behoben.