Zurück zu allen Kundenbeispielen

AssessmentTelekommunikation

Dimensionieren Sie zuerst die Bookie-Schicht – dort gehen Pulsar-Deployments schief

Telekommunikationsanbieter

Broker, Bookies und Metadaten eines Pulsar-Deployments anhand realer Anforderungen an Durchsatz, Retention und Dauerhaftigkeit dimensioniert.

Überblick

Pulsar trennt die Auslieferung vom Storage – das ist die Quelle seiner betrieblichen Flexibilität und zugleich seiner Komplexität bei der Dimensionierung. Die Kapazität von Brokern, Bookies und Metadaten skaliert mit unterschiedlichen Eingangsgrößen, und bei den meisten unterdimensionierten Deployments wurde die Bookie-Schicht falsch bemessen. AceMQ dimensioniert jede Schicht anhand gemessener Anforderungen.

Herausforderung

Dimensionierungen, die sich auf die Nachrichtenrate konzentrieren, übersehen die Faktoren, die tatsächlich begrenzen. Das Write Quorum multipliziert den Rohspeicher mit dem Replikationsfaktor, sodass die Retention den Disk-Bedarf der Bookies weit schneller treibt als erwartet. Journal-Geräte brauchen fsync mit niedriger Latenz statt Kapazität. Die Anzahl der Topics und Partitionen treibt die Last auf ZooKeeper oder etcd und den Broker-Speicher unabhängig vom Durchsatz. Geo-Replikation erzeugt regionsübergreifende Bandbreite, die selten eingeplant wird.

Umgebung

Neue oder wachsende Apache-Pulsar-Deployments auf Kubernetes, Bare Metal oder hybrider Infrastruktur, mit Tiered Offload auf Object Storage.

Vorgehen

AceMQ leitet die Anforderungen aus gemessenem oder prognostiziertem Durchsatz, Retention, Dauerhaftigkeit und Topic-Kardinalität ab und dimensioniert dann jede Schicht nach der Größe, die sie begrenzt. Besteht das Deployment bereits, wird die aktuelle Auslastung profiliert, um echte Kapazitätsgrenzen von Konfigurationsproblemen zu trennen, die mehr Hardware nicht beheben würde.

Lösung

  1. Dimensionierung der Broker-Schicht nach Anzahl der Verbindungen, Topic-Kardinalität, Dispatch-Durchsatz und Working Set des Caches
  2. Dimensionierung der Bookie-Schicht unter Anwendung von Write Quorum und Ack Quorum auf die Retention, mit getrennten Anforderungen an Journal- und Ledger-Geräte
  3. Dimensionierung und Konfiguration des Metadatenspeichers für ZooKeeper oder etcd nach Anzahl von Topics, Partitionen und Ledgern
  4. Schwellenwerte für Tiered Offload und Dimensionierung des Object Storage für Topics mit langer Retention
  5. Modellierung der Geo-Replikationstopologie und der regionsübergreifenden Bandbreite, wo eine Auslieferung über mehrere Regionen erforderlich ist
  6. Platzierung nach Fehlerdomänen und Rack Awareness, damit die Ensemble-Auswahl den Verlust einer Zone oder eines Racks übersteht

Resultat

Kunden erhalten eine Dimensionierung Schicht für Schicht, abgeleitet aus der Anforderung, die jede Schicht tatsächlich begrenzt – statt einer einzigen Node-Anzahl, hochgerechnet aus der Nachrichtenrate. Bei bestehenden Deployments stellt sich meist heraus, dass mindestens ein gemeldetes Kapazitätsproblem ein Konfigurationsproblem ist, das zusätzliche Hardware nicht gelöst hätte.

Technologien

Apache PulsarApache BookKeeperZooKeeperKubernetes

Bereit für einen Apache Pulsar-Health-Check?

Die Senior Engineers von AceMQ für Apache Pulsar haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.