Torna a tutti i casi d'uso

SupportoPubblica amministrazione / Difesa

Una subscription dimenticata può rallentare tutti i producer del namespace

Ente del settore pubblico

Diagnosi dei producer bloccati dall'applicazione della backlog quota quando una subscription lenta o abbandonata impedisce lo smaltimento del backlog.

Panoramica

Pulsar conserva i messaggi finché tutte le subscription non li hanno confermati. Una subscription che ha smesso di consumare (un servizio dismesso, un consumer andato in crash, un client di test che nessuno ha rimosso) tiene aperto il backlog fino al raggiungimento della quota del namespace, e a quel punto i producer vengono rallentati o rifiutati. AceMQ diagnostica rapidamente il problema e corregge la policy sottostante.

Sfida

Il sintomo segnalato è che i producer hanno iniziato a fallire o a rallentare drasticamente, senza alcuna modifica lato producer. La causa è una policy di backlog quota che raggiunge il limite con un'azione producer_request_hold o producer_exception. Per individuare la subscription responsabile occorre ispezionare il backlog di ogni subscription in tutto il namespace, e le policy di retention e TTL interagiscono in modi su cui è facile sbagliare quando si interviene sotto pressione.

Ambiente

Cluster Apache Pulsar su Kubernetes o bare metal con namespace multi-tenant, tipi di subscription misti e, in alcuni deployment, geo-replica.

Approccio

Gli ingegneri AceMQ ispezionano il backlog e la posizione di acknowledgment di ogni subscription nel namespace per trovare quella che tiene aperta la retention, e verificano se si tratta di un consumer attivo rimasto indietro o di uno abbandonato. L'intervento viene calibrato di conseguenza (skip o scadenza del backlog abbandonato, oppure miglioramento del throughput del consumer se è attivo) e poi l'insieme delle policy viene corretto, così che la volta successiva il problema emerga in modo visibile.

Soluzione

  1. Obiettivi di risposta da 15 minuti, in base al piano, con ingegneri senior dedicati, 24/7, senza triage di primo livello
  2. Ispezione del backlog e della posizione di acknowledgment per ogni subscription, per individuare quella che blocca la retention
  3. Revisione della policy di backlog quota e delle relative azioni: producer_request_hold, producer_exception e consumer_backlog_eviction
  4. Allineamento delle policy di retention e di TTL dei messaggi, così che le subscription abbandonate scadano anziché accumularsi a tempo indeterminato
  5. Diagnosi del throughput dei consumer per le subscription attive, inclusi receiver queue size, ack timeout e riconsegna tramite negative ack
  6. Gestione del ciclo di vita delle subscription e alerting, così che subscription abbandonate e backlog in crescita vengano rilevati prima dell'applicazione della quota

Esito

Il throttling dei producer si risolve nel corso dell'incidente e il successivo lavoro sulle policy fa sì che le subscription abbandonate scadano da sole e che un backlog in crescita generi un alert ben prima di raggiungere la quota.

Tecnologie

Apache PulsarApache BookKeeperKubernetes

Vi serve supporto specialistico per Apache Pulsar?

Gli ingegneri Apache Pulsar senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.