Panoramica
I broker Pulsar confermano una scrittura quando l'ack quorum dei bookie la conferma, quindi il bookie più lento di ogni ensemble fissa la latenza minima. Un singolo nodo con il dispositivo di journal saturo degrada la latenza di scrittura su tutti i topic i cui ledger lo coinvolgono. AceMQ isola il bookie e corregge il layout dello storage sottostante.
Sfida
La causa principale abituale è la condivisione dello stesso dispositivo tra journal e dati dei ledger. Il journal ha bisogno di fsync sequenziali a bassa latenza; il dispositivo dei ledger esegue grandi scritture sequenziali e una compaction periodica. Insieme sullo stesso disco entrano in contesa, la latenza di fsync del journal sale e la latenza di add-entry aumenta in tutto il cluster. Tra i fattori concomitanti ci sono una configurazione di ensemble e quorum senza margine per un nodo lento, una write cache sottodimensionata e la garbage collection dell'entry log in competizione con il traffico reale.
Ambiente
Apache Pulsar con BookKeeper su Kubernetes o bare metal, metadati su ZooKeeper o etcd e offload a livelli verso object storage.
Approccio
AceMQ mette in correlazione la latenza di fsync del journal e di add-entry di ciascun bookie con la latenza di pubblicazione lato broker per individuare il nodo che fissa la soglia minima, poi verifica se la causa sia la contesa sul dispositivo, il dimensionamento della cache o la compaction. L'azione immediata isola il bookie dai nuovi ensemble; la soluzione duratura separa i dispositivi di journal e ledger e ritara cache e compaction.
Soluzione
- Correlazione della latenza di fsync del journal e di add-entry per ciascun bookie con la latenza di pubblicazione dei broker, per isolare il nodo che fa da vincolo
- Separazione dei dispositivi di journal e ledger con classi di storage adeguate e budget di IOPS indipendenti
- Taratura del dimensionamento di write cache, read-ahead cache e direct memory in base al working set effettivo e all'heap della JVM
- Regolazione delle soglie di garbage collection e compaction dell'entry log, così che il recupero di spazio smetta di competere con le scritture reali
- Configurazione di ensemble, write quorum e ack quorum in grado di tollerare un nodo lento senza bloccare le scritture
- Validazione delle procedure di autorecovery e di sostituzione dei bookie, compreso il recupero dei ledger sotto-replicati
Esito
La latenza di pubblicazione dell'intero cluster torna alla baseline una volta isolato il bookie che fa da vincolo e corretto il layout dello storage, e la configurazione del quorum rivista fa sì che il prossimo nodo lento degradi le prestazioni in modo graduale invece di bloccare il cluster.