Voltar a todos os casos de utilização

ConsultoriaSoftware / Plataformas digitais

O multi-tenancy do Pulsar é real, mas só se as políticas de namespace forem desenhadas de forma deliberada

Fornecedor de serviços geridos

Desenho da estrutura de tenants, namespaces e políticas para que equipas independentes possam partilhar um cluster Pulsar sem interferirem umas com as outras.

Visão geral

O modelo de tenants e namespaces do Pulsar permite um verdadeiro isolamento entre equipas, com quotas, retenção, autorização e limites de taxa por namespace. Mas só isola tão bem quanto o desenho das políticas, e as políticas predefinidas isolam muito pouco. A AceMQ desenha a estrutura e o conjunto de políticas que a acompanha.

Desafio

Os clusters partilhados construídos sem um desenho de namespaces acabam com tudo num único namespace com políticas predefinidas. A retenção ilimitada de uma equipa consome armazenamento de que todo o cluster precisa, o topic de alto débito de outra satura brokers partilhados com cargas de trabalho sensíveis à latência e a autorização é tão grosseira que qualquer equipa pode consumir qualquer topic. Introduzir isolamento mais tarde obriga a mover topics, o que obriga a coordenar todos os consumers.

Ambiente

Clusters Apache Pulsar partilhados em Kubernetes, ao serviço de várias equipas internas ou tenants externos, muitas vezes com geo-replicação.

Abordagem

A AceMQ faz corresponder tenants e namespaces a fronteiras reais de responsabilidade e de isolamento, em vez de agrupamentos arbitrários, e define depois o conjunto de políticas por classe de namespace — retenção, quotas, limites de taxa e autorização. Os grupos de isolamento de brokers e a distribuição de bundles são usados quando a separação das cargas de trabalho tem de chegar ao hardware.

Solução

  1. Hierarquia de tenants e namespaces alinhada com a responsabilidade, a classificação dos dados e os requisitos de isolamento
  2. Modelos de políticas por namespace que cobrem retenção, quota de backlog, TTL das mensagens e desduplicação
  3. Limites de taxa de publicação e de dispatch dimensionados por classe de namespace, para que um tenant não consiga saturar brokers partilhados
  4. Desenho de autenticação e autorização com perfis por namespace e credenciais por token ou mTLS para cada tenant
  5. Grupos de isolamento de brokers e atribuição de bundles quando cargas de trabalho ruidosas têm de ser separadas ao nível do hardware
  6. Runbook de integração e definições de políticas como código, para que os novos tenants herdem o desenho em vez das predefinições

Resultado final

As equipas partilham o cluster sem disputarem armazenamento ou capacidade dos brokers, e os novos tenants são integrados com base num modelo de políticas definido, em vez de herdarem predefinições. O isolamento é imposto por política, e não por convenção.

Tecnologias

Apache PulsarApache BookKeeperKubernetesZooKeeper

Precisa de orientação de arquitetura Apache Pulsar?

Os engenheiros seniores de Apache Pulsar da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.