Visão geral
O Pulsar retém as mensagens até que todas as subscrições as tenham confirmado. Uma subscrição que deixou de consumir (um serviço desativado, um consumidor que falhou, um cliente de teste que ninguém removeu) mantém o backlog aberto até se atingir a quota do namespace, momento em que os producers são limitados ou rejeitados. A AceMQ diagnostica isto rapidamente e corrige a política subjacente.
Desafio
O sintoma reportado é que os producers começaram a falhar ou abrandaram drasticamente, sem qualquer alteração do lado do producer. A causa é uma política de backlog quota que atinge o limite com a ação producer_request_hold ou producer_exception. Encontrar a subscrição responsável exige inspecionar o backlog de cada subscrição em todo o namespace, e as políticas de retenção e de TTL interagem de formas em que é fácil errar quando alguém tenta corrigir sob pressão.
Ambiente
Clusters Apache Pulsar em Kubernetes ou bare metal com namespaces multi-tenant, tipos de subscrição mistos e, em algumas implementações, georreplicação.
Abordagem
Os engenheiros da AceMQ inspecionam o backlog e a posição de acknowledgement de cada subscrição em todo o namespace para encontrar a que está a manter a retenção aberta, e confirmam se é um consumidor ativo que ficou para trás ou um consumidor abandonado. O alívio é aplicado em conformidade (saltar ou expirar o backlog abandonado, ou resolver o débito do consumidor num caso ativo) e o conjunto de políticas é depois corrigido para que, da próxima vez, a falha seja visível.
Solução
- Objetivos de resposta a partir de 15 minutos, consoante o plano, com engenheiros seniores designados, 24/7, sem triagem de nível 1
- Inspeção do backlog e da posição de acknowledgement por subscrição para identificar a que está a bloquear a retenção
- Revisão da política e da ação da backlog quota entre producer_request_hold, producer_exception e consumer_backlog_eviction
- Alinhamento das políticas de retenção e de TTL das mensagens para que as subscrições abandonadas expirem em vez de se acumularem indefinidamente
- Diagnóstico do débito dos consumidores em subscrições ativas, abrangendo o receiver queue size, o ack timeout e a reentrega por negative ack
- Ciclo de vida das subscrições e alertas para detetar subscrições abandonadas e backlog crescente antes da aplicação da quota
Resultado final
O throttling dos producers desaparece durante o próprio incidente, e o trabalho posterior nas políticas faz com que as subscrições abandonadas expirem por si e que o backlog crescente gere um alerta muito antes de atingir a quota.