Voltar para todos os casos de uso

AvaliaçãoTelecomunicações

Dimensione primeiro a camada de bookies: é aí que as implantações de Pulsar dão errado

Operadora de telecomunicações

Dimensionamento de brokers, bookies e metadados de uma implantação Pulsar com base em requisitos reais de throughput, retenção e durabilidade.

Visão geral

O Pulsar separa o atendimento do storage, o que é a origem tanto da sua flexibilidade operacional quanto da sua complexidade de dimensionamento. A capacidade de brokers, de bookies e de metadados escala com base em variáveis diferentes, e a maioria das implantações subdimensionadas errou na camada de bookies. A AceMQ dimensiona cada camada com base em requisitos medidos.

Desafio

Os exercícios de dimensionamento centrados na taxa de mensagens ignoram as restrições que realmente pesam. O write quorum multiplica o storage bruto pelo fator de replicação, então a retenção faz o disco dos bookies crescer muito mais rápido do que o esperado. Os dispositivos de journal precisam de fsync de baixa latência, e não de capacidade. A quantidade de tópicos e partições determina a carga no ZooKeeper ou no etcd e a memória dos brokers, independentemente do throughput. A geo-replicação acrescenta uma banda entre regiões que raramente entra no orçamento.

Ambiente

Implantações novas ou em expansão de Apache Pulsar em Kubernetes, bare metal ou infraestrutura híbrida, com offload em camadas para object storage.

Abordagem

A AceMQ deriva os requisitos do throughput, da retenção, da durabilidade e da cardinalidade de tópicos medidos ou projetados e depois dimensiona cada camada de acordo com a variável que a restringe. Onde a implantação já existe, a utilização atual é analisada para separar limites reais de capacidade de problemas de configuração que mais hardware não resolveria.

Solução

  1. Dimensionamento da camada de brokers de acordo com a quantidade de conexões, a cardinalidade de tópicos, o throughput de dispatch e o working set do cache
  2. Dimensionamento da camada de bookies com write quorum e ack quorum aplicados à retenção, separando os requisitos dos dispositivos de journal e de ledger
  3. Dimensionamento e configuração do metadata store em ZooKeeper ou etcd de acordo com a quantidade de tópicos, partições e ledgers
  4. Limites de offload em camadas e dimensionamento do object storage para tópicos de retenção longa
  5. Topologia de geo-replicação e modelagem da banda entre regiões quando é necessária entrega multirregião
  6. Posicionamento por domínio de falha e rack awareness para que a seleção do ensemble sobreviva à perda de uma zona ou de um rack

Resultado obtido

Os clientes recebem um dimensionamento camada por camada, derivado do requisito que realmente restringe cada uma, em vez de uma única quantidade de nós escalada a partir da taxa de mensagens. Nas implantações existentes, geralmente se descobre que pelo menos um dos problemas de capacidade relatados é uma questão de configuração que mais hardware não teria resolvido.

Tecnologias

Apache PulsarApache BookKeeperZooKeeperKubernetes

Pronto para um health check do Apache Pulsar?

Os engenheiros Apache Pulsar sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.