Visão geral
O modelo de tenants e namespaces do Pulsar permite um isolamento verdadeiro entre equipes, com quotas, retenção, autorização e rate limits por namespace. Mas ele isola apenas tanto quanto o design das políticas permite, e as políticas padrão isolam muito pouco. A AceMQ desenha a estrutura e o conjunto de políticas que a acompanha.
Desafio
Clusters compartilhados montados sem um design de namespaces acabam com tudo em um único namespace, sob as políticas padrão. A retenção sem limite de uma equipe consome o armazenamento de que o cluster inteiro precisa, o tópico de alto throughput de outra satura brokers compartilhados com workloads sensíveis à latência, e a autorização é tão genérica que qualquer equipe consegue consumir qualquer tópico. Adicionar isolamento depois exige mover tópicos, o que exige coordenar todos os consumidores.
Ambiente
Clusters Apache Pulsar compartilhados no Kubernetes, atendendo várias equipes internas ou tenants externos, muitas vezes com geo-replicação.
Abordagem
A AceMQ mapeia tenants e namespaces de acordo com os limites reais de responsabilidade e de isolamento, e não com agrupamentos arbitrários, e depois define o conjunto de políticas por classe de namespace: retenção, quotas, rate limits e autorização. Grupos de isolamento de brokers e a distribuição de bundles são usados quando a separação de workloads precisa chegar até o hardware.
Solução
- Hierarquia de tenants e namespaces mapeada segundo responsabilidade, classificação de dados e requisitos de isolamento
- Templates de políticas por namespace cobrindo retenção, backlog quota, TTL de mensagens e deduplicação
- Rate limits de publicação e de dispatch dimensionados por classe de namespace, para que nenhum tenant sature os brokers compartilhados
- Design de autenticação e autorização com roles por namespace e credenciais por token ou mTLS para cada tenant
- Grupos de isolamento de brokers e atribuição de bundles onde workloads ruidosos precisam ser separados no nível do hardware
- Runbook de onboarding e definições de políticas como código, para que novos tenants herdem o design em vez dos padrões
Resultado obtido
As equipes compartilham o cluster sem disputar armazenamento nem capacidade dos brokers, e os novos tenants entram com base em um template de políticas definido, em vez de herdar os padrões. O isolamento é garantido por política, e não por convenção.