Descripción general
El modelo de tenants y namespaces de Pulsar permite un aislamiento real entre equipos, con cuotas, retención, autorización y límites de tasa por namespace. Pero solo aísla tanto como lo permita el diseño de las políticas, y las políticas por defecto aíslan muy poco. AceMQ diseña la estructura y el conjunto de políticas que la acompaña.
Reto
Los clústeres compartidos creados sin un diseño de namespaces acaban con todo en un único namespace con las políticas por defecto. La retención ilimitada de un equipo consume el almacenamiento que necesita todo el clúster, el topic de alto throughput de otro equipo satura los brokers que comparte con cargas sensibles a la latencia y la autorización es tan poco granular que cualquier equipo puede consumir cualquier topic. Añadir el aislamiento a posteriori obliga a mover topics, y eso exige coordinar a todos los consumidores.
Entorno
Clústeres compartidos de Apache Pulsar sobre Kubernetes que dan servicio a varios equipos internos o tenants externos, a menudo con geo-replicación.
Enfoque
AceMQ hace corresponder tenants y namespaces con límites reales de propiedad y aislamiento, no con agrupaciones arbitrarias, y después define el conjunto de políticas para cada clase de namespace: retención, cuotas, límites de tasa y autorización. Cuando la separación de cargas debe llegar hasta el hardware, se usan grupos de aislamiento de brokers y la distribución de bundles.
Solución
- Jerarquía de tenants y namespaces alineada con la propiedad, la clasificación de los datos y los requisitos de aislamiento
- Plantillas de políticas por namespace que cubren retención, cuota de backlog, TTL de mensajes y deduplicación
- Límites de tasa de publicación y de dispatch dimensionados por clase de namespace para que ningún tenant pueda saturar los brokers compartidos
- Diseño de autenticación y autorización con roles por namespace y credenciales de token o mTLS por tenant
- Grupos de aislamiento de brokers y asignación de bundles cuando las cargas ruidosas deben separarse a nivel de hardware
- Runbook de incorporación y definiciones de políticas como código para que los nuevos tenants hereden el diseño en lugar de los valores por defecto
Resultado final
Los equipos comparten el clúster sin competir por el almacenamiento ni por la capacidad de los brokers, y los nuevos tenants se incorporan con una plantilla de políticas definida en lugar de heredar los valores por defecto. El aislamiento lo imponen las políticas, no las convenciones.