Volver a todos los casos de uso

SoporteGobierno / Defensa

Una suscripción olvidada puede frenar a todos los productores del namespace

Organismo del sector público

Diagnóstico de productores bloqueados por la aplicación de la backlog quota cuando una suscripción lenta o abandonada impide que el backlog se vacíe.

Descripción general

Pulsar retiene los mensajes hasta que todas las suscripciones los confirman. Una suscripción que dejó de consumir (un servicio dado de baja, un consumidor caído, un cliente de prueba que nadie eliminó) mantiene abierto el backlog hasta que se alcanza la cuota del namespace, y en ese momento los productores se frenan o se rechazan. AceMQ diagnostica esto con rapidez y corrige la política de fondo.

Desafío

El síntoma reportado es que los productores empezaron a fallar o se volvieron mucho más lentos, sin ningún cambio del lado del productor. La causa es una política de backlog quota que llega a su límite con una acción producer_request_hold o producer_exception. Encontrar la suscripción responsable requiere inspeccionar el backlog por suscripción en todo el namespace, y las políticas de retención y de TTL interactúan de maneras en las que es fácil equivocarse cuando alguien intenta corregirlo bajo presión.

Entorno

Clústeres de Apache Pulsar en Kubernetes o bare metal con namespaces multitenant, tipos de suscripción mixtos y, en algunos despliegues, georreplicación.

Enfoque

Los ingenieros de AceMQ inspeccionan el backlog y la posición de acknowledgement de cada suscripción en todo el namespace para encontrar la que mantiene abierta la retención, y confirman si se trata de un consumidor activo que se atrasó o de uno abandonado. El alivio se aplica según corresponda (saltar o expirar el backlog abandonado, o atacar el throughput del consumidor en el caso de uno activo) y luego se corrige el conjunto de políticas para que la próxima vez falle de forma visible.

Solución

  1. Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
  2. Inspección del backlog y de la posición de acknowledgement por suscripción para identificar la suscripción que bloquea la retención
  3. Revisión de la política de backlog quota y de sus acciones: producer_request_hold, producer_exception y consumer_backlog_eviction
  4. Alineación de las políticas de retención y de TTL de mensajes para que las suscripciones abandonadas expiren en lugar de acumularse indefinidamente
  5. Diagnóstico del throughput de los consumidores en las suscripciones activas, incluidos el tamaño de la receiver queue, el ack timeout y la reentrega por negative ack
  6. Ciclo de vida de las suscripciones y alertas para detectar suscripciones abandonadas y backlogs en aumento antes de que se aplique la cuota

Resultado final

El throttling de los productores se resuelve durante el incidente, y el trabajo posterior sobre las políticas hace que las suscripciones abandonadas expiren por sí solas y que un backlog en aumento genere una alerta mucho antes de llegar a la cuota.

Tecnologías

Apache PulsarApache BookKeeperKubernetes

¿Necesita soporte experto de Apache Pulsar?

Los ingenieros sénior de Apache Pulsar de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.