Voltar para todos os casos de uso

ConsultoriaSoftware / plataformas digitais

Isolamento entre tenants que resiste ao cliente que consulta dez vezes mais pesado que todos os outros

Provedor de plataforma SaaS B2B

Projeto de consultoria para desenhar o isolamento entre tenants, a estratégia de índices e a governança de consultas de um OpenSearch que atende milhares de tenants de clientes.

Visão geral

O modelo de um índice por tenant de um provedor SaaS B2B tinha deixado de escalar à medida que a base de clientes crescia. A AceMQ desenhou uma arquitetura de tenants que mantém as garantias de isolamento e reduz o número de shards que o cluster precisa acompanhar.

Desafio

Com um índice por tenant e as configurações de shards padrão, a maioria dos índices guardava pouquíssimos dados, enquanto o cluster arcava com o custo de metadados de todos eles. O cluster state cresceu o bastante para deixar lenta cada decisão de alocação. Ao mesmo tempo, um pequeno número de tenants grandes conseguia monopolizar o thread pool de busca e causar rejeições na fila para todos os demais, então o isolamento que o modelo de um índice por tenant deveria oferecer não se sustentava de fato sob carga.

Ambiente

OpenSearch em Kubernetes, com milhares de tenants que vão de alguns milhares de documentos a centenas de milhões.

Abordagem

Desenhamos um modelo em camadas: os tenants pequenos compartilham índices agrupados, com uma routing key e document-level security, enquanto os tenants grandes mantêm índices dedicados, dimensionados para os seus dados. Junto com isso, adicionamos governança no nível da busca para que nenhum tenant sozinho consiga esgotar os thread pools compartilhados, e definimos o caminho de promoção que um tenant segue à medida que cresce.

Solução

  1. Estratégia de índices em camadas, separando índices compartilhados agrupados para tenants pequenos de índices dedicados para os grandes
  2. Routing personalizado e document-level security para manter o isolamento entre tenants dentro dos índices compartilhados
  3. Critérios de promoção definidos e um caminho de reindexação testado para mover um tenant do índice agrupado para um dedicado à medida que ele cresce
  4. Dimensionamento do thread pool de busca, limites de fila e controles de concorrência por tenant para que um tenant pesado não deixe os demais sem recursos
  5. Governança de consultas com timeouts, limites de tamanho dos resultados e tratamento de rejeições devolvido à camada de aplicação
  6. Templates de cluster e de índices gerenciados como código, com o onboarding de tenants automatizado de ponta a ponta

Resultado obtido

O número de shards caiu cerca de uma ordem de grandeza depois que os tenants pequenos foram agrupados, e as operações de cluster state voltaram a ser rápidas. As rejeições na fila de busca nos horários de pico praticamente desapareceram, e o onboarding de um novo tenant agora é uma etapa automatizada, e não a criação manual de um índice.

Tecnologias

OpenSearchKubernetesOpenSearch DashboardsTerraform

Precisa de orientação de arquitetura para OpenSearch?

Os engenheiros OpenSearch sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.