Retour à tous les cas d'usage

AuditTélécommunications

Dimensionnez d'abord la couche des bookies : c'est là que les déploiements Pulsar dérapent

Opérateur de télécommunications

Dimensionner les brokers, les bookies et les métadonnées d'un déploiement Pulsar en fonction des exigences réelles de débit, de rétention et de durabilité.

Présentation

Pulsar sépare le service des messages de leur stockage, ce qui fait à la fois sa souplesse d'exploitation et la complexité de son dimensionnement. La capacité des brokers, celle des bookies et celle des métadonnées évoluent selon des paramètres différents, et la plupart des déploiements sous-dimensionnés se sont trompés sur la couche des bookies. AceMQ dimensionne chaque couche à partir d'exigences mesurées.

Défi

Les exercices de dimensionnement centrés sur le débit de messages passent à côté des contraintes réellement limitantes. Le write quorum multiplie le stockage brut par le facteur de réplication, si bien que la rétention fait grimper l'espace disque des bookies bien plus vite que prévu. Les périphériques de journal ont besoin d'un fsync à faible latence, pas de capacité. Le nombre de topics et de partitions détermine la charge sur ZooKeeper ou etcd et la mémoire des brokers indépendamment du débit. La géo-réplication ajoute une bande passante inter-régions rarement budgétée.

Environnement

Déploiements Apache Pulsar nouveaux ou en extension sur Kubernetes, bare metal ou infrastructure hybride, avec déchargement hiérarchisé vers un stockage objet.

Approche

AceMQ établit les exigences à partir du débit, de la rétention, de la durabilité et de la cardinalité des topics, mesurés ou projetés, puis dimensionne chaque couche selon le paramètre qui la contraint. Lorsque le déploiement existe déjà, l'utilisation actuelle est profilée pour distinguer les véritables limites de capacité des problèmes de configuration qu'aucun matériel supplémentaire ne réglerait.

Solution

  1. Dimensionnement de la couche des brokers selon le nombre de connexions, la cardinalité des topics, le débit de dispatch et le working set du cache
  2. Dimensionnement de la couche des bookies en appliquant write quorum et ack quorum à la rétention, avec des exigences distinctes pour les périphériques de journal et de ledger
  3. Dimensionnement et configuration du magasin de métadonnées ZooKeeper ou etcd selon le nombre de topics, de partitions et de ledgers
  4. Seuils de déchargement hiérarchisé et dimensionnement du stockage objet pour les topics à longue rétention
  5. Topologie de géo-réplication et modélisation de la bande passante inter-régions lorsqu'une distribution multi-région est requise
  6. Placement par domaine de défaillance et prise en compte des racks pour que la sélection de l'ensemble résiste à la perte d'une zone ou d'un rack

Résultat obtenu

Les clients obtiennent un dimensionnement couche par couche, établi à partir de l'exigence qui contraint réellement chacune, plutôt qu'un nombre unique de nœuds extrapolé du débit de messages. Sur les déploiements existants, il apparaît généralement qu'au moins un problème de capacité signalé relève en fait de la configuration, et que du matériel supplémentaire ne l'aurait pas résolu.

Technologies

Apache PulsarApache BookKeeperZooKeeperKubernetes

Prêt pour un bilan de santé Apache Pulsar ?

Les ingénieurs Apache Pulsar seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.