Voltar para todos os casos de uso

SuporteGoverno / defesa

Uma subscription esquecida pode estrangular todos os produtores do namespace

Órgão do setor público

Diagnóstico de produtores bloqueados pela aplicação da backlog quota quando uma subscription lenta ou abandonada impede que o backlog seja liberado.

Visão geral

O Pulsar retém as mensagens até que todas as subscriptions as tenham confirmado. Uma subscription que parou de consumir — um serviço desativado, um consumidor que caiu, um cliente de teste que ninguém removeu — mantém o backlog aberto até que a cota do namespace seja atingida, e nesse ponto os produtores sofrem throttling ou são rejeitados. A AceMQ diagnostica isso rapidamente e corrige a política por trás do problema.

Desafio

O sintoma relatado é que os produtores começaram a falhar ou ficaram muito mais lentos, sem nenhuma mudança do lado deles. A causa é uma política de backlog quota que atingiu o limite com a ação producer_request_hold ou producer_exception. Descobrir qual subscription é a responsável exige inspecionar o backlog de cada subscription em todo o namespace, e as políticas de retenção e de TTL interagem de formas fáceis de errar quando alguém tenta corrigir sob pressão.

Ambiente

Clusters Apache Pulsar em Kubernetes ou bare metal, com namespaces multi-tenant, tipos de subscription variados e geo-replicação em algumas implantações.

Abordagem

Os engenheiros da AceMQ inspecionam o backlog e a posição de acknowledgement de cada subscription em todo o namespace para encontrar a que está segurando a retenção, e confirmam se é um consumidor ativo que ficou para trás ou um abandonado. O alívio é aplicado da forma adequada — pulando ou expirando o backlog abandonado, ou tratando o throughput do consumidor no caso de um ativo — e o conjunto de políticas é então corrigido para que, da próxima vez, a falha seja visível.

Solução

  1. Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem de nível 1
  2. Inspeção do backlog e da posição de acknowledgement por subscription para identificar a que está bloqueando a retenção
  3. Revisão da política de backlog quota e das ações producer_request_hold, producer_exception e consumer_backlog_eviction
  4. Alinhamento das políticas de retenção e de message TTL para que subscriptions abandonadas expirem em vez de se acumularem indefinidamente
  5. Diagnóstico do throughput dos consumidores em subscriptions ativas, cobrindo receiver queue size, ack timeout e reentrega por negative ack
  6. Ciclo de vida das subscriptions e alertas para que subscriptions abandonadas e backlog crescente sejam detectados antes da aplicação da cota

Resultado obtido

O throttling dos produtores é resolvido ainda durante o incidente, e o trabalho posterior nas políticas faz com que subscriptions abandonadas expirem sozinhas e que um backlog crescente gere alerta bem antes de atingir a cota.

Tecnologias

Apache PulsarApache BookKeeperKubernetes

Precisa de suporte especializado em Apache Pulsar?

Os engenheiros Apache Pulsar sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.