Volver a todos los casos de uso

EvaluaciónTelecomunicaciones

Dimensione primero la capa de bookies: ahí es donde fallan los despliegues de Pulsar

Operador de telecomunicaciones

Dimensionamiento de brokers, bookies y metadatos de un despliegue de Pulsar según los requisitos reales de throughput, retención y durabilidad.

Descripción general

Pulsar separa el servicio del almacenamiento, y de ahí proceden tanto su flexibilidad operativa como la complejidad de su dimensionamiento. La capacidad de los brokers, la de los bookies y la de los metadatos escalan en función de factores distintos, y la mayoría de los despliegues infradimensionados se equivocaron en la capa de bookies. AceMQ dimensiona cada capa según requisitos medidos.

Reto

Los ejercicios de dimensionamiento centrados en la tasa de mensajes pasan por alto las restricciones que de verdad limitan. El write quorum multiplica el almacenamiento bruto por el factor de replicación, de modo que la retención dispara el disco de los bookies mucho más rápido de lo previsto. Los dispositivos de journal necesitan fsync de baja latencia, no capacidad. El número de topics y particiones determina la carga de ZooKeeper o etcd y la memoria de los brokers con independencia del throughput. La geo-replicación añade un ancho de banda entre regiones que rara vez se presupuesta.

Entorno

Despliegues nuevos o en expansión de Apache Pulsar en Kubernetes, bare metal o infraestructura híbrida, con offload por niveles a almacenamiento de objetos.

Enfoque

AceMQ obtiene los requisitos a partir del throughput, la retención, la durabilidad y la cardinalidad de topics medidos o previstos, y después dimensiona cada capa según el factor que la limita. Cuando el despliegue ya existe, se perfila la utilización actual para separar los límites de capacidad reales de los problemas de configuración que más hardware no resolvería.

Solución

  1. Dimensionamiento de la capa de brokers según el número de conexiones, la cardinalidad de topics, el throughput de dispatch y el working set de la caché
  2. Dimensionamiento de la capa de bookies aplicando el write quorum y el ack quorum a la retención, con requisitos separados para los dispositivos de journal y de ledger
  3. Dimensionamiento y configuración del almacén de metadatos en ZooKeeper o etcd según el número de topics, particiones y ledgers
  4. Umbrales de offload por niveles y dimensionamiento del almacenamiento de objetos para topics con retención prolongada
  5. Topología de geo-replicación y modelado del ancho de banda entre regiones cuando se requiere entrega multirregión
  6. Ubicación por dominios de fallo y con reconocimiento de racks para que la selección del ensemble sobreviva a la pérdida de una zona o de un rack

Resultado final

Los clientes obtienen un dimensionamiento capa por capa basado en el requisito que realmente limita cada una, en lugar de un único número de nodos extrapolado a partir de la tasa de mensajes. En los despliegues existentes, suele descubrirse que al menos uno de los problemas de capacidad notificados es en realidad un problema de configuración que más hardware no habría resuelto.

Tecnologías

Apache PulsarApache BookKeeperZooKeeperKubernetes

¿Preparado para un health check de Apache Pulsar?

Los ingenieros sénior de Apache Pulsar de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.