Überblick
Das Tenant- und Namespace-Modell von Pulsar ermöglicht echte Isolation zwischen Teams, mit Quotas, Aufbewahrung, Autorisierung und Rate Limits pro Namespace. Es isoliert jedoch nur so gut wie das Policy-Design – und die Standard-Policies isolieren sehr wenig. AceMQ entwirft die Struktur und das zugehörige Policy-Set.
Herausforderung
Gemeinsam genutzte Cluster ohne Namespace-Design landen mit allem in einem einzigen Namespace unter Standard-Policies. Die unbegrenzte Aufbewahrung eines Teams verbraucht Speicher, den der gesamte Cluster braucht; das Topic mit hohem Durchsatz eines anderen Teams lastet Broker aus, die mit latenzkritischen Workloads geteilt werden; und die Autorisierung ist so grob, dass jedes Team jedes Topic konsumieren kann. Isolation nachträglich einzuziehen erfordert das Verschieben von Topics – und damit die Abstimmung mit jedem einzelnen Consumer.
Umgebung
Gemeinsam genutzte Apache-Pulsar-Cluster auf Kubernetes für mehrere interne Teams oder externe Mandanten, häufig mit Geo-Replikation.
Vorgehen
AceMQ bildet Tenants und Namespaces auf reale Verantwortlichkeiten und Isolationsgrenzen ab statt auf willkürliche Gruppierungen und definiert dann das Policy-Set je Namespace-Klasse – Aufbewahrung, Quotas, Rate Limits und Autorisierung. Broker Isolation Groups und die Verteilung der Bundles kommen dort zum Einsatz, wo die Trennung der Workloads bis auf die Hardware reichen muss.
Lösung
- Hierarchie aus Tenants und Namespaces, abgebildet auf Verantwortlichkeiten, Datenklassifizierung und Isolationsanforderungen
- Policy-Vorlagen pro Namespace für Aufbewahrung, Backlog Quota, Message TTL und Deduplizierung
- Publish- und Dispatch-Rate-Limits je Namespace-Klasse, damit kein Mandant gemeinsam genutzte Broker auslasten kann
- Design von Authentifizierung und Autorisierung mit Rollen pro Namespace und Token- oder mTLS-Credentials pro Mandant
- Broker Isolation Groups und Bundle-Zuweisung, wo laute Workloads auf Hardwareebene getrennt werden müssen
- Onboarding-Runbook und Policy-as-Code-Definitionen, damit neue Mandanten das Design übernehmen statt der Standardwerte
Resultat
Teams teilen sich den Cluster, ohne um Speicher oder Broker-Kapazität zu konkurrieren, und neue Mandanten werden anhand einer definierten Policy-Vorlage angebunden, statt Standardwerte zu erben. Die Isolation wird durch Policies durchgesetzt, nicht durch Konventionen.