Voltar para todos os casos de uso

ConsultoriaSoftware / plataformas digitais

O multi-tenancy do Pulsar é real, mas só quando as políticas de namespace são desenhadas com intenção

Provedor de serviços gerenciados

Desenho da estrutura de tenants, namespaces e políticas para que equipes independentes compartilhem um cluster Pulsar sem interferir umas nas outras.

Visão geral

O modelo de tenants e namespaces do Pulsar permite um isolamento verdadeiro entre equipes, com quotas, retenção, autorização e rate limits por namespace. Mas ele isola apenas tanto quanto o design das políticas permite, e as políticas padrão isolam muito pouco. A AceMQ desenha a estrutura e o conjunto de políticas que a acompanha.

Desafio

Clusters compartilhados montados sem um design de namespaces acabam com tudo em um único namespace, sob as políticas padrão. A retenção sem limite de uma equipe consome o armazenamento de que o cluster inteiro precisa, o tópico de alto throughput de outra satura brokers compartilhados com workloads sensíveis à latência, e a autorização é tão genérica que qualquer equipe consegue consumir qualquer tópico. Adicionar isolamento depois exige mover tópicos, o que exige coordenar todos os consumidores.

Ambiente

Clusters Apache Pulsar compartilhados no Kubernetes, atendendo várias equipes internas ou tenants externos, muitas vezes com geo-replicação.

Abordagem

A AceMQ mapeia tenants e namespaces de acordo com os limites reais de responsabilidade e de isolamento, e não com agrupamentos arbitrários, e depois define o conjunto de políticas por classe de namespace: retenção, quotas, rate limits e autorização. Grupos de isolamento de brokers e a distribuição de bundles são usados quando a separação de workloads precisa chegar até o hardware.

Solução

  1. Hierarquia de tenants e namespaces mapeada segundo responsabilidade, classificação de dados e requisitos de isolamento
  2. Templates de políticas por namespace cobrindo retenção, backlog quota, TTL de mensagens e deduplicação
  3. Rate limits de publicação e de dispatch dimensionados por classe de namespace, para que nenhum tenant sature os brokers compartilhados
  4. Design de autenticação e autorização com roles por namespace e credenciais por token ou mTLS para cada tenant
  5. Grupos de isolamento de brokers e atribuição de bundles onde workloads ruidosos precisam ser separados no nível do hardware
  6. Runbook de onboarding e definições de políticas como código, para que novos tenants herdem o design em vez dos padrões

Resultado obtido

As equipes compartilham o cluster sem disputar armazenamento nem capacidade dos brokers, e os novos tenants entram com base em um template de políticas definido, em vez de herdar os padrões. O isolamento é garantido por política, e não por convenção.

Tecnologias

Apache PulsarApache BookKeeperKubernetesZooKeeper

Precisa de orientação de arquitetura para Apache Pulsar?

Os engenheiros Apache Pulsar sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.