Torna a tutti i casi d'uso

AssessmentTelecomunicazioni

Dimensionate prima il livello dei bookie: è lì che i deployment Pulsar sbagliano

Operatore di telecomunicazioni

Dimensionare broker, bookie e metadati di un deployment Pulsar in base ai requisiti reali di throughput, retention e durabilità.

Panoramica

Pulsar separa il servizio dei dati dallo storage, ed è questa la fonte sia della sua flessibilità operativa sia della complessità del suo dimensionamento. La capacità dei broker, quella dei bookie e quella dei metadati scalano in base a fattori diversi, e la maggior parte dei deployment sottodimensionati ha sbagliato il livello dei bookie. AceMQ dimensiona ciascun livello in base a requisiti misurati.

Sfida

I dimensionamenti incentrati sul tasso di messaggi trascurano i vincoli che contano davvero. Il write quorum moltiplica lo storage grezzo per il fattore di replica, quindi la retention fa crescere il disco dei bookie molto più rapidamente del previsto. I dispositivi del journal richiedono fsync a bassa latenza, non capacità. Il numero di topic e di partizioni determina il carico su ZooKeeper o etcd e la memoria dei broker indipendentemente dal throughput. La geo-replica aggiunge banda tra regioni che raramente viene messa a budget.

Ambiente

Deployment Apache Pulsar nuovi o in espansione su Kubernetes, bare metal o infrastrutture ibride, con offload a livelli verso object storage.

Approccio

AceMQ ricava i requisiti dal throughput misurato o previsto, dalla retention, dalla durabilità e dalla cardinalità dei topic, quindi dimensiona ciascun livello in base al fattore che lo vincola. Se il deployment esiste già, l'utilizzo attuale viene profilato per distinguere i limiti di capacità reali dai problemi di configurazione che altro hardware non risolverebbe.

Soluzione

  1. Dimensionamento del livello dei broker in base a numero di connessioni, cardinalità dei topic, throughput di dispatch e working set della cache
  2. Dimensionamento del livello dei bookie applicando write quorum e ack quorum alla retention, con requisiti distinti per i dispositivi di journal e di ledger
  3. Dimensionamento e configurazione del metadata store ZooKeeper o etcd in base al numero di topic, partizioni e ledger
  4. Soglie di offload a livelli e dimensionamento dell'object storage per i topic a lunga retention
  5. Topologia di geo-replica e modellazione della banda tra regioni dove è richiesta la consegna multi-regione
  6. Posizionamento per domini di guasto e rack awareness, così che la selezione degli ensemble sopravviva alla perdita di una zona o di un rack

Esito

I clienti ottengono un dimensionamento livello per livello, ricavato dal requisito che vincola effettivamente ciascuno, anziché un unico numero di nodi scalato in base al tasso di messaggi. Nei deployment esistenti emerge di solito che almeno uno dei problemi di capacità segnalati è in realtà un problema di configurazione che altro hardware non avrebbe risolto.

Tecnologie

Apache PulsarApache BookKeeperZooKeeperKubernetes

Pronti per un health check di Apache Pulsar?

Gli ingegneri Apache Pulsar senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.