Volver a todos los casos de uso

ConsultoríaSoftware / Plataformas digitales

El multi-tenancy de Pulsar es real, pero solo si las políticas de los namespaces se diseñan de forma deliberada

Proveedor de servicios administrados

Diseño de la estructura de tenants, namespaces y políticas para que equipos independientes puedan compartir un clúster de Pulsar sin interferir entre sí.

Descripción general

El modelo de tenants y namespaces de Pulsar permite un aislamiento real entre equipos, con cuotas, retención, autorización y rate limits por namespace. Pero solo aísla tan bien como lo permite el diseño de las políticas, y las políticas predeterminadas aíslan muy poco. AceMQ diseña la estructura y el conjunto de políticas que la acompaña.

Desafío

Los clústeres compartidos que se construyen sin un diseño de namespaces terminan con todo en un solo namespace y con políticas predeterminadas. La retención sin límite de un equipo consume el almacenamiento que necesita todo el clúster, el topic de alto throughput de otro satura brokers compartidos con cargas sensibles a la latencia, y la autorización es tan gruesa que cualquier equipo puede consumir cualquier topic. Agregar el aislamiento después obliga a mover topics, lo que obliga a coordinar con cada consumer.

Entorno

Clústeres compartidos de Apache Pulsar sobre Kubernetes que atienden a varios equipos internos o tenants externos, a menudo con geo-replicación.

Enfoque

AceMQ mapea los tenants y namespaces sobre los límites reales de propiedad y aislamiento, en lugar de agrupaciones arbitrarias, y luego define el conjunto de políticas por clase de namespace: retención, cuotas, rate limits y autorización. Se usan grupos de aislamiento de brokers y distribución de bundles donde la separación de cargas de trabajo debe llegar hasta el hardware.

Solución

  1. Jerarquía de tenants y namespaces mapeada a la propiedad, la clasificación de datos y los requisitos de aislamiento
  2. Plantillas de políticas por namespace que cubren retención, cuota de backlog, TTL de mensajes y deduplicación
  3. Rate limits de publicación y de dispatch dimensionados por clase de namespace para que ningún tenant pueda saturar los brokers compartidos
  4. Diseño de autenticación y autorización con roles por namespace y credenciales por tenant basadas en tokens o mTLS
  5. Grupos de aislamiento de brokers y asignación de bundles donde las cargas ruidosas deben separarse a nivel de hardware
  6. Runbook de onboarding y definiciones de políticas como código para que los nuevos tenants hereden el diseño en lugar de los valores predeterminados

Resultado final

Los equipos comparten el clúster sin competir por almacenamiento ni por capacidad de los brokers, y los nuevos tenants se incorporan con una plantilla de políticas definida en lugar de heredar los valores predeterminados. El aislamiento se aplica por política y no por convención.

Tecnologías

Apache PulsarApache BookKeeperKubernetesZooKeeper

¿Necesita orientación de arquitectura para Apache Pulsar?

Los ingenieros sénior de Apache Pulsar de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.