Descripción general
Pulsar separa el servicio del almacenamiento, y de ahí proceden tanto su flexibilidad operativa como la complejidad de su dimensionamiento. La capacidad de los brokers, la de los bookies y la de los metadatos escalan en función de factores distintos, y la mayoría de los despliegues infradimensionados se equivocaron en la capa de bookies. AceMQ dimensiona cada capa según requisitos medidos.
Reto
Los ejercicios de dimensionamiento centrados en la tasa de mensajes pasan por alto las restricciones que de verdad limitan. El write quorum multiplica el almacenamiento bruto por el factor de replicación, de modo que la retención dispara el disco de los bookies mucho más rápido de lo previsto. Los dispositivos de journal necesitan fsync de baja latencia, no capacidad. El número de topics y particiones determina la carga de ZooKeeper o etcd y la memoria de los brokers con independencia del throughput. La geo-replicación añade un ancho de banda entre regiones que rara vez se presupuesta.
Entorno
Despliegues nuevos o en expansión de Apache Pulsar en Kubernetes, bare metal o infraestructura híbrida, con offload por niveles a almacenamiento de objetos.
Enfoque
AceMQ obtiene los requisitos a partir del throughput, la retención, la durabilidad y la cardinalidad de topics medidos o previstos, y después dimensiona cada capa según el factor que la limita. Cuando el despliegue ya existe, se perfila la utilización actual para separar los límites de capacidad reales de los problemas de configuración que más hardware no resolvería.
Solución
- Dimensionamiento de la capa de brokers según el número de conexiones, la cardinalidad de topics, el throughput de dispatch y el working set de la caché
- Dimensionamiento de la capa de bookies aplicando el write quorum y el ack quorum a la retención, con requisitos separados para los dispositivos de journal y de ledger
- Dimensionamiento y configuración del almacén de metadatos en ZooKeeper o etcd según el número de topics, particiones y ledgers
- Umbrales de offload por niveles y dimensionamiento del almacenamiento de objetos para topics con retención prolongada
- Topología de geo-replicación y modelado del ancho de banda entre regiones cuando se requiere entrega multirregión
- Ubicación por dominios de fallo y con reconocimiento de racks para que la selección del ensemble sobreviva a la pérdida de una zona o de un rack
Resultado final
Los clientes obtienen un dimensionamiento capa por capa basado en el requisito que realmente limita cada una, en lugar de un único número de nodos extrapolado a partir de la tasa de mensajes. En los despliegues existentes, suele descubrirse que al menos uno de los problemas de capacidad notificados es en realidad un problema de configuración que más hardware no habría resuelto.