Visão geral
O Pulsar retém as mensagens até que todas as subscriptions as tenham confirmado. Uma subscription que parou de consumir — um serviço desativado, um consumidor que caiu, um cliente de teste que ninguém removeu — mantém o backlog aberto até que a cota do namespace seja atingida, e nesse ponto os produtores sofrem throttling ou são rejeitados. A AceMQ diagnostica isso rapidamente e corrige a política por trás do problema.
Desafio
O sintoma relatado é que os produtores começaram a falhar ou ficaram muito mais lentos, sem nenhuma mudança do lado deles. A causa é uma política de backlog quota que atingiu o limite com a ação producer_request_hold ou producer_exception. Descobrir qual subscription é a responsável exige inspecionar o backlog de cada subscription em todo o namespace, e as políticas de retenção e de TTL interagem de formas fáceis de errar quando alguém tenta corrigir sob pressão.
Ambiente
Clusters Apache Pulsar em Kubernetes ou bare metal, com namespaces multi-tenant, tipos de subscription variados e geo-replicação em algumas implantações.
Abordagem
Os engenheiros da AceMQ inspecionam o backlog e a posição de acknowledgement de cada subscription em todo o namespace para encontrar a que está segurando a retenção, e confirmam se é um consumidor ativo que ficou para trás ou um abandonado. O alívio é aplicado da forma adequada — pulando ou expirando o backlog abandonado, ou tratando o throughput do consumidor no caso de um ativo — e o conjunto de políticas é então corrigido para que, da próxima vez, a falha seja visível.
Solução
- Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem de nível 1
- Inspeção do backlog e da posição de acknowledgement por subscription para identificar a que está bloqueando a retenção
- Revisão da política de backlog quota e das ações producer_request_hold, producer_exception e consumer_backlog_eviction
- Alinhamento das políticas de retenção e de message TTL para que subscriptions abandonadas expirem em vez de se acumularem indefinidamente
- Diagnóstico do throughput dos consumidores em subscriptions ativas, cobrindo receiver queue size, ack timeout e reentrega por negative ack
- Ciclo de vida das subscriptions e alertas para que subscriptions abandonadas e backlog crescente sejam detectados antes da aplicação da cota
Resultado obtido
O throttling dos produtores é resolvido ainda durante o incidente, e o trabalho posterior nas políticas faz com que subscriptions abandonadas expirem sozinhas e que um backlog crescente gere alerta bem antes de atingir a cota.