Présentation
Pulsar sépare le service des messages de leur stockage, ce qui fait à la fois sa souplesse d'exploitation et la complexité de son dimensionnement. La capacité des brokers, celle des bookies et celle des métadonnées évoluent selon des paramètres différents, et la plupart des déploiements sous-dimensionnés se sont trompés sur la couche des bookies. AceMQ dimensionne chaque couche à partir d'exigences mesurées.
Défi
Les exercices de dimensionnement centrés sur le débit de messages passent à côté des contraintes réellement limitantes. Le write quorum multiplie le stockage brut par le facteur de réplication, si bien que la rétention fait grimper l'espace disque des bookies bien plus vite que prévu. Les périphériques de journal ont besoin d'un fsync à faible latence, pas de capacité. Le nombre de topics et de partitions détermine la charge sur ZooKeeper ou etcd et la mémoire des brokers indépendamment du débit. La géo-réplication ajoute une bande passante inter-régions rarement budgétée.
Environnement
Déploiements Apache Pulsar nouveaux ou en extension sur Kubernetes, bare metal ou infrastructure hybride, avec déchargement hiérarchisé vers un stockage objet.
Approche
AceMQ établit les exigences à partir du débit, de la rétention, de la durabilité et de la cardinalité des topics, mesurés ou projetés, puis dimensionne chaque couche selon le paramètre qui la contraint. Lorsque le déploiement existe déjà, l'utilisation actuelle est profilée pour distinguer les véritables limites de capacité des problèmes de configuration qu'aucun matériel supplémentaire ne réglerait.
Solution
- Dimensionnement de la couche des brokers selon le nombre de connexions, la cardinalité des topics, le débit de dispatch et le working set du cache
- Dimensionnement de la couche des bookies en appliquant write quorum et ack quorum à la rétention, avec des exigences distinctes pour les périphériques de journal et de ledger
- Dimensionnement et configuration du magasin de métadonnées ZooKeeper ou etcd selon le nombre de topics, de partitions et de ledgers
- Seuils de déchargement hiérarchisé et dimensionnement du stockage objet pour les topics à longue rétention
- Topologie de géo-réplication et modélisation de la bande passante inter-régions lorsqu'une distribution multi-région est requise
- Placement par domaine de défaillance et prise en compte des racks pour que la sélection de l'ensemble résiste à la perte d'une zone ou d'un rack
Résultat obtenu
Les clients obtiennent un dimensionnement couche par couche, établi à partir de l'exigence qui contraint réellement chacune, plutôt qu'un nombre unique de nœuds extrapolé du débit de messages. Sur les déploiements existants, il apparaît généralement qu'au moins un problème de capacité signalé relève en fait de la configuration, et que du matériel supplémentaire ne l'aurait pas résolu.