Visão geral
O modelo de tenants e namespaces do Pulsar permite um verdadeiro isolamento entre equipas, com quotas, retenção, autorização e limites de taxa por namespace. Mas só isola tão bem quanto o desenho das políticas, e as políticas predefinidas isolam muito pouco. A AceMQ desenha a estrutura e o conjunto de políticas que a acompanha.
Desafio
Os clusters partilhados construídos sem um desenho de namespaces acabam com tudo num único namespace com políticas predefinidas. A retenção ilimitada de uma equipa consome armazenamento de que todo o cluster precisa, o topic de alto débito de outra satura brokers partilhados com cargas de trabalho sensíveis à latência e a autorização é tão grosseira que qualquer equipa pode consumir qualquer topic. Introduzir isolamento mais tarde obriga a mover topics, o que obriga a coordenar todos os consumers.
Ambiente
Clusters Apache Pulsar partilhados em Kubernetes, ao serviço de várias equipas internas ou tenants externos, muitas vezes com geo-replicação.
Abordagem
A AceMQ faz corresponder tenants e namespaces a fronteiras reais de responsabilidade e de isolamento, em vez de agrupamentos arbitrários, e define depois o conjunto de políticas por classe de namespace — retenção, quotas, limites de taxa e autorização. Os grupos de isolamento de brokers e a distribuição de bundles são usados quando a separação das cargas de trabalho tem de chegar ao hardware.
Solução
- Hierarquia de tenants e namespaces alinhada com a responsabilidade, a classificação dos dados e os requisitos de isolamento
- Modelos de políticas por namespace que cobrem retenção, quota de backlog, TTL das mensagens e desduplicação
- Limites de taxa de publicação e de dispatch dimensionados por classe de namespace, para que um tenant não consiga saturar brokers partilhados
- Desenho de autenticação e autorização com perfis por namespace e credenciais por token ou mTLS para cada tenant
- Grupos de isolamento de brokers e atribuição de bundles quando cargas de trabalho ruidosas têm de ser separadas ao nível do hardware
- Runbook de integração e definições de políticas como código, para que os novos tenants herdem o desenho em vez das predefinições
Resultado final
As equipas partilham o cluster sem disputarem armazenamento ou capacidade dos brokers, e os novos tenants são integrados com base num modelo de políticas definido, em vez de herdarem predefinições. O isolamento é imposto por política, e não por convenção.