Retour à tous les cas d'usage

SupportSecteur public / défense

Une souscription oubliée peut brider tous les producteurs d'un namespace

Organisme du secteur public

Diagnostiquer des producteurs bloqués par l'application du backlog quota lorsqu'une souscription lente ou abandonnée empêche le backlog de se résorber.

Présentation

Pulsar conserve les messages jusqu'à ce que toutes les souscriptions les aient acquittés. Une souscription qui a cessé de consommer — un service décommissionné, un consommateur planté, un client de test que personne n'a supprimé — maintient le backlog jusqu'à ce que le quota du namespace soit atteint ; les producteurs sont alors bridés ou rejetés. AceMQ diagnostique rapidement ce problème et corrige la politique sous-jacente.

Défi

Le symptôme signalé : les producteurs se sont mis à échouer ou à ralentir fortement, sans aucun changement de leur côté. La cause : une politique de backlog quota qui atteint sa limite avec une action producer_request_hold ou producer_exception. Identifier la souscription responsable exige d'examiner le backlog de chaque souscription sur tout le namespace, et les politiques de rétention et de TTL interagissent d'une façon facile à mal maîtriser quand on tente de corriger sous pression.

Environnement

Clusters Apache Pulsar sur Kubernetes ou bare metal, avec des namespaces multi-tenants, des types de souscriptions variés et, dans certains déploiements, de la géo-réplication.

Approche

Les ingénieurs AceMQ examinent le backlog et la position d'acquittement de chaque souscription sur le namespace pour trouver celle qui bloque la rétention, et déterminent s'il s'agit d'un consommateur actif qui a pris du retard ou d'une souscription abandonnée. Le soulagement est appliqué de façon adaptée — saut ou expiration du backlog abandonné, ou traitement du débit du consommateur s'il est actif —, puis l'ensemble des politiques est corrigé pour que la prochaine défaillance soit visible.

Solution

  1. Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans tri de niveau 1
  2. Examen du backlog et de la position d'acquittement de chaque souscription pour identifier celle qui bloque la rétention
  3. Revue de la politique de backlog quota et de ses actions : producer_request_hold, producer_exception et consumer_backlog_eviction
  4. Alignement des politiques de rétention et de TTL des messages pour que les souscriptions abandonnées expirent au lieu de s'accumuler indéfiniment
  5. Diagnostic du débit des consommateurs pour les souscriptions actives : taille de la receiver queue, ack timeout et relivraison sur negative ack
  6. Cycle de vie des souscriptions et alertes pour détecter les souscriptions abandonnées et la hausse du backlog avant l'application du quota

Résultat obtenu

Le throttling des producteurs est levé pendant l'incident, et le travail mené ensuite sur les politiques fait que les souscriptions abandonnées expirent d'elles-mêmes et que la hausse du backlog déclenche une alerte bien avant d'atteindre le quota.

Technologies

Apache PulsarApache BookKeeperKubernetes

Besoin d'un support Apache Pulsar expert ?

Les ingénieurs Apache Pulsar seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.