Panoramica
Pulsar separa il servizio dei dati dallo storage, ed è questa la fonte sia della sua flessibilità operativa sia della complessità del suo dimensionamento. La capacità dei broker, quella dei bookie e quella dei metadati scalano in base a fattori diversi, e la maggior parte dei deployment sottodimensionati ha sbagliato il livello dei bookie. AceMQ dimensiona ciascun livello in base a requisiti misurati.
Sfida
I dimensionamenti incentrati sul tasso di messaggi trascurano i vincoli che contano davvero. Il write quorum moltiplica lo storage grezzo per il fattore di replica, quindi la retention fa crescere il disco dei bookie molto più rapidamente del previsto. I dispositivi del journal richiedono fsync a bassa latenza, non capacità. Il numero di topic e di partizioni determina il carico su ZooKeeper o etcd e la memoria dei broker indipendentemente dal throughput. La geo-replica aggiunge banda tra regioni che raramente viene messa a budget.
Ambiente
Deployment Apache Pulsar nuovi o in espansione su Kubernetes, bare metal o infrastrutture ibride, con offload a livelli verso object storage.
Approccio
AceMQ ricava i requisiti dal throughput misurato o previsto, dalla retention, dalla durabilità e dalla cardinalità dei topic, quindi dimensiona ciascun livello in base al fattore che lo vincola. Se il deployment esiste già, l'utilizzo attuale viene profilato per distinguere i limiti di capacità reali dai problemi di configurazione che altro hardware non risolverebbe.
Soluzione
- Dimensionamento del livello dei broker in base a numero di connessioni, cardinalità dei topic, throughput di dispatch e working set della cache
- Dimensionamento del livello dei bookie applicando write quorum e ack quorum alla retention, con requisiti distinti per i dispositivi di journal e di ledger
- Dimensionamento e configurazione del metadata store ZooKeeper o etcd in base al numero di topic, partizioni e ledger
- Soglie di offload a livelli e dimensionamento dell'object storage per i topic a lunga retention
- Topologia di geo-replica e modellazione della banda tra regioni dove è richiesta la consegna multi-regione
- Posizionamento per domini di guasto e rack awareness, così che la selezione degli ensemble sopravviva alla perdita di una zona o di un rack
Esito
I clienti ottengono un dimensionamento livello per livello, ricavato dal requisito che vincola effettivamente ciascuno, anziché un unico numero di nodi scalato in base al tasso di messaggi. Nei deployment esistenti emerge di solito che almeno uno dei problemi di capacità segnalati è in realtà un problema di configurazione che altro hardware non avrebbe risolto.