Visão geral
Os brokers do Pulsar confirmam uma escrita assim que o ack quorum de bookies a confirma, então o bookie mais lento de cada ensemble define o piso de latência. Um único nó com o dispositivo de journal saturado degrada a latência de escrita de todos os tópicos cujos ledgers passam por ele. A AceMQ isola o bookie e corrige o layout de armazenamento por baixo.
Desafio
A causa raiz mais comum é o journal e os dados de ledger compartilharem o mesmo dispositivo. O journal precisa de fsync sequencial de baixa latência; o dispositivo de ledger faz grandes escritas sequenciais e compaction periódica. Juntos no mesmo disco, eles disputam recursos, a latência de fsync do journal sobe e a latência de add-entry aumenta em todo o cluster. Entre os fatores que contribuem estão uma configuração de ensemble e quórum sem folga para um nó lento, um write cache subdimensionado e o garbage collection do entry log competindo com o tráfego em produção.
Ambiente
Apache Pulsar com BookKeeper em Kubernetes ou bare metal, metadados em ZooKeeper ou etcd e offload em camadas para armazenamento de objetos.
Abordagem
A AceMQ correlaciona a latência de fsync do journal e de add-entry de cada bookie com a latência de publicação do lado do broker para identificar qual nó está definindo o piso, e depois confirma se a causa é disputa de dispositivo, dimensionamento de cache ou compaction. A ação imediata isola o bookie de novos ensembles; a correção definitiva separa os dispositivos de journal e de ledger e reajusta o cache e a compaction.
Solução
- Correlação da latência de fsync do journal e de add-entry de cada bookie com a latência de publicação dos brokers, para isolar o nó que limita o cluster
- Separação dos dispositivos de journal e de ledger, com storage classes adequadas e orçamentos de IOPS independentes
- Ajuste do dimensionamento do write cache, do read-ahead cache e da memória direta com base no working set real e no heap da JVM
- Ajuste dos limites de garbage collection e de compaction do entry log para que a recuperação de espaço deixe de competir com as escritas em produção
- Configuração de ensemble, write quorum e ack quorum para tolerar um nó lento sem travar as escritas
- Validação dos procedimentos de autorecovery e de substituição de bookies, incluindo a recuperação de ledgers sub-replicados
Resultado obtido
A latência de publicação em todo o cluster volta ao patamar de referência assim que o bookie que limitava o desempenho é isolado e o layout de armazenamento é corrigido, e a nova configuração de quórum faz com que o próximo nó lento degrade o serviço de forma controlada, em vez de travar o cluster.