Volver a todos los casos de uso

SoporteAdministración pública / Defensa

Una suscripción olvidada puede frenar a todos los productores del namespace

Organismo del sector público

Diagnóstico de productores bloqueados por la aplicación de la backlog quota cuando una suscripción lenta o abandonada impide que se vacíe el backlog.

Descripción general

Pulsar conserva los mensajes hasta que todas las suscripciones los han confirmado. Una suscripción que ha dejado de consumir —un servicio dado de baja, un consumidor caído, un cliente de pruebas que nadie eliminó— mantiene abierto el backlog hasta que se alcanza la cuota del namespace, y en ese momento los productores se limitan o se rechazan. AceMQ lo diagnostica con rapidez y corrige la política que hay debajo.

Reto

El síntoma notificado es que los productores han empezado a fallar o se han ralentizado drásticamente, sin ningún cambio en el lado del productor. La causa es una política de backlog quota que alcanza su límite con una acción producer_request_hold o producer_exception. Encontrar la suscripción responsable exige inspeccionar el backlog por suscripción en todo el namespace, y las políticas de retención y de TTL interactúan de maneras en las que es fácil equivocarse cuando alguien intenta arreglarlo bajo presión.

Entorno

Clústeres de Apache Pulsar en Kubernetes o bare metal con namespaces multitenant, distintos tipos de suscripción y geo-replicación en algunos despliegues.

Enfoque

Los ingenieros de AceMQ inspeccionan el backlog y la posición de confirmación de cada suscripción en todo el namespace para encontrar la que mantiene abierta la retención, y confirman si se trata de un consumidor activo que se ha quedado atrás o de uno abandonado. El alivio se aplica según el caso —saltando o expirando el backlog abandonado, o resolviendo el throughput del consumidor si está activo— y después se corrige el conjunto de políticas para que la próxima vez el fallo sea visible.

Solución

  1. Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
  2. Inspección del backlog y de la posición de confirmación por suscripción para identificar la suscripción que bloquea la retención
  3. Revisión de la política de backlog quota y de sus acciones: producer_request_hold, producer_exception y consumer_backlog_eviction
  4. Alineación de las políticas de retención y de TTL de los mensajes para que las suscripciones abandonadas expiren en lugar de acumularse indefinidamente
  5. Diagnóstico del throughput de los consumidores en las suscripciones activas, que abarca el tamaño de la cola de recepción, el ack timeout y la reentrega por confirmación negativa
  6. Ciclo de vida de las suscripciones y alertas para detectar las suscripciones abandonadas y el crecimiento del backlog antes de que se aplique la cuota

Resultado final

La limitación de los productores desaparece durante el propio incidente, y el trabajo posterior sobre las políticas hace que las suscripciones abandonadas expiren por sí solas y que el crecimiento del backlog genere una alerta mucho antes de llegar a la cuota.

Tecnologías

Apache PulsarApache BookKeeperKubernetes

¿Necesita soporte experto de Apache Pulsar?

Los ingenieros sénior de Apache Pulsar de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.