Voltar a todos os casos de utilização

AvaliaçãoTelecomunicações

Dimensione primeiro a camada de bookies: é aí que as implementações Pulsar correm mal

Operador de telecomunicações

Dimensionar brokers, bookies e metadados de uma implementação Pulsar face a requisitos reais de débito, retenção e durabilidade.

Visão geral

O Pulsar separa o serviço do armazenamento, e é daí que vêm tanto a sua flexibilidade operacional como a complexidade do dimensionamento. A capacidade dos brokers, dos bookies e dos metadados escala em função de fatores diferentes, e a maioria das implementações subdimensionadas errou na camada de bookies. A AceMQ dimensiona cada camada face a requisitos medidos.

Desafio

Os exercícios de dimensionamento centrados na taxa de mensagens ignoram as restrições que realmente pesam. O write quorum multiplica o armazenamento bruto pelo fator de replicação, pelo que a retenção faz crescer o disco dos bookies muito mais depressa do que o previsto. Os dispositivos de journal precisam de fsync de baixa latência e não de capacidade. O número de tópicos e de partições determina a carga no ZooKeeper ou no etcd e a memória dos brokers, independentemente do débito. A georreplicação acrescenta largura de banda entre regiões que raramente é orçamentada.

Ambiente

Implementações Apache Pulsar novas ou em expansão em Kubernetes, bare metal ou infraestrutura híbrida, com offload por níveis para armazenamento de objetos.

Abordagem

A AceMQ deriva os requisitos a partir do débito, da retenção, da durabilidade e da cardinalidade de tópicos, medidos ou previstos, e dimensiona depois cada camada face ao fator que a condiciona. Quando a implementação já existe, a utilização atual é analisada para distinguir os verdadeiros limites de capacidade dos problemas de configuração que mais hardware não resolveria.

Solução

  1. Dimensionamento da camada de brokers face ao número de ligações, à cardinalidade de tópicos, ao débito de dispatch e ao working set da cache
  2. Dimensionamento da camada de bookies com write quorum e ack quorum aplicados à retenção, separando os requisitos dos dispositivos de journal e de ledger
  3. Dimensionamento e configuração do metadata store em ZooKeeper ou etcd face ao número de tópicos, partições e ledgers
  4. Limiares de offload por níveis e dimensionamento do armazenamento de objetos para tópicos com retenção longa
  5. Topologia de georreplicação e modelação da largura de banda entre regiões quando é necessária entrega multirregião
  6. Colocação por domínio de falha e rack awareness para que a seleção do ensemble resista à perda de uma zona ou de um rack

Resultado final

Os clientes obtêm um dimensionamento camada a camada, derivado do requisito que efetivamente condiciona cada uma, em vez de um número único de nós extrapolado da taxa de mensagens. Nas implementações existentes, é habitual descobrir que pelo menos um dos problemas de capacidade reportados é uma questão de configuração que hardware adicional não teria resolvido.

Tecnologias

Apache PulsarApache BookKeeperZooKeeperKubernetes

Pronto para um health check ao Apache Pulsar?

Os engenheiros seniores de Apache Pulsar da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.