Zurück zu allen Kundenbeispielen

AssessmentFinanzdienstleistungen / Handel

Wissen, wo der Cluster an seine Grenzen stößt, bevor die Daten ankommen

Anbieter von Finanzmarktdaten

Assessment von Shard- und Replica-Topologie, Storage Tiering, Concurrency-Limits für Abfragen und Merge-Verhalten vor einem deutlichen Anstieg des Datenvolumens.

Überblick

Ein Anbieter von Marktdaten nahm zusätzliche Börsen-Feeds auf, die das gespeicherte Volumen vervielfachen würden. Statt den Cluster proportional zu skalieren, beauftragte er AceMQ zu ermitteln, welche Teile wirklich wachsen mussten und welche falsch konfiguriert waren.

Herausforderung

Um ClickHouse gut zu skalieren, muss man wissen, welche Ressource tatsächlich limitiert. Merge-Durchsatz, Abfrage-Concurrency, Koordinationslast auf Keeper und Storage-Bandbreite versagen jeweils auf eigene Weise und werden häufig miteinander verwechselt. Der bestehende Cluster war nie unter Dauerlast vermessen worden, sodass niemand wusste, was zuerst limitieren würde.

Umgebung

ClickHouse auf On-Premises-Hardware und Cloud Object Storage für Abfragen auf historische und Intraday-Marktdaten.

Vorgehen

AceMQ vermaß den Cluster unter repräsentativer Dauerlast statt mit synthetischen Benchmarks und beobachtete Merge-Durchsatz, Queueing der Abfragen, Request-Latenz von Keeper und Storage-Bandbreite gleichzeitig, um zu sehen, was zuerst sättigt. Die Befunde wurden dem prognostizierten Anstieg des Volumens gegenübergestellt.

Lösung

  1. Cluster unter repräsentativer Dauerlast vermessen, um die Ressource zu identifizieren, die zuerst sättigt
  2. Shard- und Replica-Topologie anhand der Anforderungen an Query Routing und Ausfalltoleranz geprüft
  3. Keeper-Deployment, Request-Latenz und Koordinationslast als eigenständige Skalierungsgrenze bewertet
  4. Konfiguration des Tiered Storage und die Verlagerung gealterter Parts in den Object Storage bewertet
  5. Concurrency-Limits für Abfragen, Queueing-Verhalten und Ressourcenkontrollen je Benutzer geprüft
  6. Kapazitätsmodell geliefert, das das prognostizierte Datenvolumen mit konkreten Skalierungsschritten und ihrer Reihenfolge verknüpft

Resultat

Der Anbieter nahm die zusätzlichen Feeds mit gezielter Skalierung statt mit einer proportionalen Cluster-Erweiterung auf. Zwei Engpässe, die noch vor dem Storage gegriffen hätten – Koordination über Keeper und Merge-Durchsatz –, wurden vor dem Anstieg behoben.

Technologien

ClickHouseClickHouse KeeperS3Prometheus

Bereit für einen ClickHouse-Health-Check?

Die Senior Engineers von AceMQ für ClickHouse haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.