Voltar a todos os casos de utilização

SuporteAdministração pública / Defesa

Uma subscrição esquecida pode limitar todos os producers do namespace

Organismo do setor público

Diagnosticar producers bloqueados pela aplicação da backlog quota quando uma subscrição lenta ou abandonada impede o backlog de escoar.

Visão geral

O Pulsar retém as mensagens até que todas as subscrições as tenham confirmado. Uma subscrição que deixou de consumir (um serviço desativado, um consumidor que falhou, um cliente de teste que ninguém removeu) mantém o backlog aberto até se atingir a quota do namespace, momento em que os producers são limitados ou rejeitados. A AceMQ diagnostica isto rapidamente e corrige a política subjacente.

Desafio

O sintoma reportado é que os producers começaram a falhar ou abrandaram drasticamente, sem qualquer alteração do lado do producer. A causa é uma política de backlog quota que atinge o limite com a ação producer_request_hold ou producer_exception. Encontrar a subscrição responsável exige inspecionar o backlog de cada subscrição em todo o namespace, e as políticas de retenção e de TTL interagem de formas em que é fácil errar quando alguém tenta corrigir sob pressão.

Ambiente

Clusters Apache Pulsar em Kubernetes ou bare metal com namespaces multi-tenant, tipos de subscrição mistos e, em algumas implementações, georreplicação.

Abordagem

Os engenheiros da AceMQ inspecionam o backlog e a posição de acknowledgement de cada subscrição em todo o namespace para encontrar a que está a manter a retenção aberta, e confirmam se é um consumidor ativo que ficou para trás ou um consumidor abandonado. O alívio é aplicado em conformidade (saltar ou expirar o backlog abandonado, ou resolver o débito do consumidor num caso ativo) e o conjunto de políticas é depois corrigido para que, da próxima vez, a falha seja visível.

Solução

  1. Objetivos de resposta a partir de 15 minutos, consoante o plano, com engenheiros seniores designados, 24/7, sem triagem de nível 1
  2. Inspeção do backlog e da posição de acknowledgement por subscrição para identificar a que está a bloquear a retenção
  3. Revisão da política e da ação da backlog quota entre producer_request_hold, producer_exception e consumer_backlog_eviction
  4. Alinhamento das políticas de retenção e de TTL das mensagens para que as subscrições abandonadas expirem em vez de se acumularem indefinidamente
  5. Diagnóstico do débito dos consumidores em subscrições ativas, abrangendo o receiver queue size, o ack timeout e a reentrega por negative ack
  6. Ciclo de vida das subscrições e alertas para detetar subscrições abandonadas e backlog crescente antes da aplicação da quota

Resultado final

O throttling dos producers desaparece durante o próprio incidente, e o trabalho posterior nas políticas faz com que as subscrições abandonadas expirem por si e que o backlog crescente gere um alerta muito antes de atingir a quota.

Tecnologias

Apache PulsarApache BookKeeperKubernetes

Precisa de suporte Apache Pulsar especializado?

Os engenheiros seniores de Apache Pulsar da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.