Volver a todos los casos de uso

EvaluaciónTelecomunicaciones

Dimensione primero la capa de bookies: ahí es donde fallan los despliegues de Pulsar

Operador de telecomunicaciones

Dimensionamiento de brokers, bookies y metadatos de un despliegue de Pulsar según los requisitos reales de throughput, retención y durabilidad.

Descripción general

Pulsar separa el servicio del almacenamiento, y eso explica tanto su flexibilidad operativa como la complejidad de su dimensionamiento. La capacidad de los brokers, la de los bookies y la de los metadatos escalan según variables distintas, y en la mayoría de los despliegues subdimensionados el error estuvo en la capa de bookies. AceMQ dimensiona cada capa según requisitos medidos.

Desafío

Los ejercicios de dimensionamiento centrados en la tasa de mensajes pasan por alto las restricciones que realmente limitan. El write quorum multiplica el almacenamiento bruto por el factor de replicación, así que la retención hace crecer el disco de los bookies mucho más rápido de lo esperado. Los dispositivos de journal necesitan fsync de baja latencia, no capacidad. La cantidad de topics y particiones determina la carga de ZooKeeper o etcd y la memoria de los brokers con independencia del throughput. La georreplicación agrega un ancho de banda entre regiones que rara vez se presupuesta.

Entorno

Despliegues nuevos o en expansión de Apache Pulsar sobre Kubernetes, bare metal o infraestructura híbrida, con offload por niveles a almacenamiento de objetos.

Enfoque

AceMQ deriva los requisitos a partir del throughput, la retención, la durabilidad y la cardinalidad de topics, medidos o proyectados, y después dimensiona cada capa según la variable que la restringe. Si el despliegue ya existe, se perfila la utilización actual para separar los límites de capacidad genuinos de los problemas de configuración que más hardware no resolvería.

Solución

  1. Dimensionamiento de la capa de brokers según la cantidad de conexiones, la cardinalidad de topics, el throughput de dispatch y el working set de caché
  2. Dimensionamiento de la capa de bookies aplicando el write quorum y el ack quorum a la retención, separando los requisitos de los dispositivos de journal y de ledger
  3. Dimensionamiento y configuración del almacén de metadatos en ZooKeeper o etcd según la cantidad de topics, particiones y ledgers
  4. Umbrales de offload por niveles y dimensionamiento del almacenamiento de objetos para topics de retención prolongada
  5. Topología de georreplicación y modelado del ancho de banda entre regiones cuando se requiere entrega multirregión
  6. Ubicación por dominios de falla y con reconocimiento de racks para que la selección del ensemble resista la pérdida de una zona o un rack

Resultado final

Los clientes obtienen un dimensionamiento capa por capa derivado del requisito que realmente restringe a cada una, en lugar de una sola cantidad de nodos escalada a partir de la tasa de mensajes. En los despliegues existentes, por lo general resulta que al menos uno de los problemas de capacidad reportados es un problema de configuración que más hardware no habría resuelto.

Tecnologías

Apache PulsarApache BookKeeperZooKeeperKubernetes

¿Listo para un health check de Apache Pulsar?

Los ingenieros sénior de Apache Pulsar de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.