Retour à tous les cas d'usage

ConseilLogiciels / plateformes numériques

Le multi-tenant de Pulsar est bien réel, mais seulement si les politiques de namespace sont conçues délibérément

Fournisseur de services managés

Concevoir la structure des tenants, des namespaces et des politiques pour que des équipes indépendantes puissent partager un cluster Pulsar sans se gêner mutuellement.

Présentation

Le modèle de tenants et de namespaces de Pulsar permet une véritable isolation entre les équipes, avec des quotas, une rétention, des autorisations et des limites de débit par namespace. L'isolation ne vaut toutefois que ce que vaut la conception des politiques, et les politiques par défaut isolent très peu. AceMQ conçoit la structure et l'ensemble de politiques qui l'accompagne.

Défi

Les clusters partagés construits sans conception des namespaces finissent avec tout dans un seul namespace soumis aux politiques par défaut. La rétention illimitée d'une équipe consomme le stockage dont tout le cluster a besoin, le topic à fort débit d'une autre sature des brokers partagés avec des charges sensibles à la latence, et les autorisations sont si grossières que n'importe quelle équipe peut consommer n'importe quel topic. Rétablir l'isolation après coup oblige à déplacer des topics, ce qui impose de coordonner chaque consommateur.

Environnement

Clusters Apache Pulsar partagés sur Kubernetes, au service de plusieurs équipes internes ou de tenants externes, souvent avec géoréplication.

Approche

AceMQ fait correspondre tenants et namespaces aux frontières réelles de responsabilité et d'isolation plutôt qu'à des regroupements arbitraires, puis définit l'ensemble de politiques par classe de namespace : rétention, quotas, limites de débit et autorisations. Les groupes d'isolation de brokers et la répartition des bundles sont utilisés lorsque la séparation des charges doit aller jusqu'au matériel.

Solution

  1. Hiérarchie des tenants et des namespaces calquée sur les responsabilités, la classification des données et les exigences d'isolation
  2. Modèles de politiques par namespace couvrant la rétention, le quota de backlog, le TTL des messages et la déduplication
  3. Limites de débit de publication et de distribution dimensionnées par classe de namespace, pour qu'aucun tenant ne puisse saturer les brokers partagés
  4. Conception de l'authentification et des autorisations avec des rôles par namespace et des identifiants par jeton ou mTLS pour chaque tenant
  5. Groupes d'isolation de brokers et affectation des bundles là où les charges bruyantes doivent être séparées au niveau matériel
  6. Runbook d'intégration et définitions de politiques as code, pour que les nouveaux tenants héritent de la conception plutôt que des valeurs par défaut

Résultat obtenu

Les équipes partagent le cluster sans se disputer le stockage ni la capacité des brokers, et les nouveaux tenants sont intégrés selon un modèle de politiques défini plutôt qu'en héritant des valeurs par défaut. L'isolation est imposée par les politiques, et non par simple convention.

Technologies

Apache PulsarApache BookKeeperKubernetesZooKeeper

Besoin de conseils en architecture Apache Pulsar ?

Les ingénieurs Apache Pulsar seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.