Voltar para todos os casos de uso

CorreçãoServiços financeiros / pagamentos

No Pulsar, um único bookie com dificuldade aumenta a latência de escrita do cluster inteiro

Processadora global de pagamentos

Resolução da latência de escrita em todo o cluster causada pela disputa entre journal e ledger no mesmo dispositivo dos bookies, com recuperação da folga no quórum de escrita.

Visão geral

Os brokers do Pulsar confirmam uma escrita assim que o ack quorum de bookies a confirma, então o bookie mais lento de cada ensemble define o piso de latência. Um único nó com o dispositivo de journal saturado degrada a latência de escrita de todos os tópicos cujos ledgers passam por ele. A AceMQ isola o bookie e corrige o layout de armazenamento por baixo.

Desafio

A causa raiz mais comum é o journal e os dados de ledger compartilharem o mesmo dispositivo. O journal precisa de fsync sequencial de baixa latência; o dispositivo de ledger faz grandes escritas sequenciais e compaction periódica. Juntos no mesmo disco, eles disputam recursos, a latência de fsync do journal sobe e a latência de add-entry aumenta em todo o cluster. Entre os fatores que contribuem estão uma configuração de ensemble e quórum sem folga para um nó lento, um write cache subdimensionado e o garbage collection do entry log competindo com o tráfego em produção.

Ambiente

Apache Pulsar com BookKeeper em Kubernetes ou bare metal, metadados em ZooKeeper ou etcd e offload em camadas para armazenamento de objetos.

Abordagem

A AceMQ correlaciona a latência de fsync do journal e de add-entry de cada bookie com a latência de publicação do lado do broker para identificar qual nó está definindo o piso, e depois confirma se a causa é disputa de dispositivo, dimensionamento de cache ou compaction. A ação imediata isola o bookie de novos ensembles; a correção definitiva separa os dispositivos de journal e de ledger e reajusta o cache e a compaction.

Solução

  1. Correlação da latência de fsync do journal e de add-entry de cada bookie com a latência de publicação dos brokers, para isolar o nó que limita o cluster
  2. Separação dos dispositivos de journal e de ledger, com storage classes adequadas e orçamentos de IOPS independentes
  3. Ajuste do dimensionamento do write cache, do read-ahead cache e da memória direta com base no working set real e no heap da JVM
  4. Ajuste dos limites de garbage collection e de compaction do entry log para que a recuperação de espaço deixe de competir com as escritas em produção
  5. Configuração de ensemble, write quorum e ack quorum para tolerar um nó lento sem travar as escritas
  6. Validação dos procedimentos de autorecovery e de substituição de bookies, incluindo a recuperação de ledgers sub-replicados

Resultado obtido

A latência de publicação em todo o cluster volta ao patamar de referência assim que o bookie que limitava o desempenho é isolado e o layout de armazenamento é corrigido, e a nova configuração de quórum faz com que o próximo nó lento degrade o serviço de forma controlada, em vez de travar o cluster.

Tecnologias

Apache PulsarApache BookKeeperKubernetesZooKeeper

Enfrentando um problema de produção com Apache Pulsar?

Os engenheiros Apache Pulsar sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.