Visão geral
O Pulsar separa o serviço do armazenamento, e é daí que vêm tanto a sua flexibilidade operacional como a complexidade do dimensionamento. A capacidade dos brokers, dos bookies e dos metadados escala em função de fatores diferentes, e a maioria das implementações subdimensionadas errou na camada de bookies. A AceMQ dimensiona cada camada face a requisitos medidos.
Desafio
Os exercícios de dimensionamento centrados na taxa de mensagens ignoram as restrições que realmente pesam. O write quorum multiplica o armazenamento bruto pelo fator de replicação, pelo que a retenção faz crescer o disco dos bookies muito mais depressa do que o previsto. Os dispositivos de journal precisam de fsync de baixa latência e não de capacidade. O número de tópicos e de partições determina a carga no ZooKeeper ou no etcd e a memória dos brokers, independentemente do débito. A georreplicação acrescenta largura de banda entre regiões que raramente é orçamentada.
Ambiente
Implementações Apache Pulsar novas ou em expansão em Kubernetes, bare metal ou infraestrutura híbrida, com offload por níveis para armazenamento de objetos.
Abordagem
A AceMQ deriva os requisitos a partir do débito, da retenção, da durabilidade e da cardinalidade de tópicos, medidos ou previstos, e dimensiona depois cada camada face ao fator que a condiciona. Quando a implementação já existe, a utilização atual é analisada para distinguir os verdadeiros limites de capacidade dos problemas de configuração que mais hardware não resolveria.
Solução
- Dimensionamento da camada de brokers face ao número de ligações, à cardinalidade de tópicos, ao débito de dispatch e ao working set da cache
- Dimensionamento da camada de bookies com write quorum e ack quorum aplicados à retenção, separando os requisitos dos dispositivos de journal e de ledger
- Dimensionamento e configuração do metadata store em ZooKeeper ou etcd face ao número de tópicos, partições e ledgers
- Limiares de offload por níveis e dimensionamento do armazenamento de objetos para tópicos com retenção longa
- Topologia de georreplicação e modelação da largura de banda entre regiões quando é necessária entrega multirregião
- Colocação por domínio de falha e rack awareness para que a seleção do ensemble resista à perda de uma zona ou de um rack
Resultado final
Os clientes obtêm um dimensionamento camada a camada, derivado do requisito que efetivamente condiciona cada uma, em vez de um número único de nós extrapolado da taxa de mensagens. Nas implementações existentes, é habitual descobrir que pelo menos um dos problemas de capacidade reportados é uma questão de configuração que hardware adicional não teria resolvido.