Descripción general
Pulsar retiene los mensajes hasta que todas las suscripciones los confirman. Una suscripción que dejó de consumir (un servicio dado de baja, un consumidor caído, un cliente de prueba que nadie eliminó) mantiene abierto el backlog hasta que se alcanza la cuota del namespace, y en ese momento los productores se frenan o se rechazan. AceMQ diagnostica esto con rapidez y corrige la política de fondo.
Desafío
El síntoma reportado es que los productores empezaron a fallar o se volvieron mucho más lentos, sin ningún cambio del lado del productor. La causa es una política de backlog quota que llega a su límite con una acción producer_request_hold o producer_exception. Encontrar la suscripción responsable requiere inspeccionar el backlog por suscripción en todo el namespace, y las políticas de retención y de TTL interactúan de maneras en las que es fácil equivocarse cuando alguien intenta corregirlo bajo presión.
Entorno
Clústeres de Apache Pulsar en Kubernetes o bare metal con namespaces multitenant, tipos de suscripción mixtos y, en algunos despliegues, georreplicación.
Enfoque
Los ingenieros de AceMQ inspeccionan el backlog y la posición de acknowledgement de cada suscripción en todo el namespace para encontrar la que mantiene abierta la retención, y confirman si se trata de un consumidor activo que se atrasó o de uno abandonado. El alivio se aplica según corresponda (saltar o expirar el backlog abandonado, o atacar el throughput del consumidor en el caso de uno activo) y luego se corrige el conjunto de políticas para que la próxima vez falle de forma visible.
Solución
- Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
- Inspección del backlog y de la posición de acknowledgement por suscripción para identificar la suscripción que bloquea la retención
- Revisión de la política de backlog quota y de sus acciones: producer_request_hold, producer_exception y consumer_backlog_eviction
- Alineación de las políticas de retención y de TTL de mensajes para que las suscripciones abandonadas expiren en lugar de acumularse indefinidamente
- Diagnóstico del throughput de los consumidores en las suscripciones activas, incluidos el tamaño de la receiver queue, el ack timeout y la reentrega por negative ack
- Ciclo de vida de las suscripciones y alertas para detectar suscripciones abandonadas y backlogs en aumento antes de que se aplique la cuota
Resultado final
El throttling de los productores se resuelve durante el incidente, y el trabajo posterior sobre las políticas hace que las suscripciones abandonadas expiren por sí solas y que un backlog en aumento genere una alerta mucho antes de llegar a la cuota.