Retour à tous les cas d'usage

RemédiationServices financiers / paiements

Dans Pulsar, un seul bookie en difficulté fait grimper la latence d'écriture de tout le cluster

Acteur mondial du traitement des paiements

Résolution d'une latence d'écriture touchant tout le cluster, causée par la contention entre les disques de journal et de ledgers des bookies, et rétablissement d'une marge sur le quorum d'écriture.

Présentation

Les brokers Pulsar acquittent une écriture dès que l'ack quorum des bookies l'a confirmée : c'est donc le bookie le plus lent de chaque ensemble qui fixe la latence plancher. Un seul nœud dont le disque de journal est saturé dégrade la latence d'écriture sur tous les topics dont les ledgers passent par lui. AceMQ isole le bookie et corrige l'organisation du stockage sous-jacent.

Défi

La cause la plus fréquente : le journal et les données de ledgers partagent le même disque. Le journal exige des fsync séquentiels à faible latence ; le disque des ledgers encaisse de grosses écritures séquentielles et des compactions périodiques. Sur un même disque, les deux se concurrencent, la latence de fsync du journal grimpe et la latence d'add-entry augmente sur tout le cluster. S'y ajoutent souvent une configuration d'ensemble et de quorum sans marge pour absorber un nœud lent, un cache d'écriture sous-dimensionné et un garbage collection de l'entry log qui entre en concurrence avec le trafic de production.

Environnement

Apache Pulsar avec BookKeeper sur Kubernetes ou bare metal, métadonnées dans ZooKeeper ou etcd, et déchargement hiérarchisé (tiered offload) vers un stockage objet.

Approche

AceMQ corrèle, bookie par bookie, la latence de fsync du journal et d'add-entry avec la latence de publication côté broker pour identifier le nœud qui fixe le plancher, puis détermine si la cause est la contention disque, le dimensionnement des caches ou la compaction. La mesure immédiate consiste à exclure ce bookie des nouveaux ensembles ; la correction durable sépare les disques de journal et de ledgers et règle à nouveau caches et compaction.

Solution

  1. Corrélation, bookie par bookie, de la latence de fsync du journal et d'add-entry avec la latence de publication des brokers pour isoler le nœud limitant
  2. Séparation des disques de journal et de ledgers, avec des classes de stockage adaptées et des budgets d'IOPS indépendants
  3. Dimensionnement du cache d'écriture, du cache de read-ahead et de la mémoire directe ajusté au working set réel et au heap JVM
  4. Seuils de garbage collection et de compaction de l'entry log ajustés pour que la récupération d'espace ne concurrence plus les écritures de production
  5. Configuration de l'ensemble, du write quorum et de l'ack quorum définie pour tolérer un nœud lent sans bloquer les écritures
  6. Validation des procédures d'autorecovery et de remplacement de bookie, y compris la récupération des ledgers sous-répliqués

Résultat obtenu

La latence de publication revient à son niveau de référence sur tout le cluster dès que le bookie limitant est isolé et l'organisation du stockage corrigée ; grâce à la nouvelle configuration des quorums, le prochain nœud lent dégradera le service progressivement au lieu de bloquer le cluster.

Technologies

Apache PulsarApache BookKeeperKubernetesZooKeeper

Confronté à un incident de production Apache Pulsar ?

Les ingénieurs Apache Pulsar seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.