Visão geral
O modelo de um índice por tenant de um fornecedor SaaS B2B tinha deixado de escalar à medida que o número de clientes crescia. A AceMQ desenhou uma arquitetura de tenants que mantém as garantias de isolamento e reduz o número de shards que o cluster tem de gerir.
Desafio
Com um índice por tenant e as definições de shards predefinidas, a maioria dos índices guardava muito poucos dados, enquanto o cluster suportava o custo de metadados de todos eles. O cluster state cresceu o suficiente para tornar lenta cada decisão de alocação. Ao mesmo tempo, um pequeno número de tenants grandes podia monopolizar o thread pool de pesquisa e provocar rejeições nas filas para todos os outros, pelo que o isolamento que o modelo de um índice por tenant devia garantir não se aguentava, na prática, sob carga.
Ambiente
OpenSearch em Kubernetes, com milhares de tenants que vão de alguns milhares de documentos a centenas de milhões.
Abordagem
Desenhámos um modelo por níveis: os tenants pequenos partilham índices agrupados com uma routing key e document-level security, enquanto os tenants grandes mantêm índices dedicados, dimensionados para os seus dados. Em paralelo, acrescentámos governação ao nível das pesquisas para que nenhum tenant consiga esgotar os thread pools partilhados, e definimos o caminho de promoção que um tenant segue à medida que cresce.
Solução
- Estratégia de índices por níveis, que separa índices partilhados agrupados para tenants pequenos de índices dedicados para os grandes
- Routing personalizado e document-level security para manter intacto o isolamento entre tenants dentro dos índices partilhados
- Critérios de promoção definidos e um caminho de reindexação testado para passar um tenant de agrupado para dedicado à medida que cresce
- Dimensionamento do thread pool de pesquisa, limites de fila e controlos de concorrência por tenant, para que um tenant pesado não prive os restantes de recursos
- Governação das consultas, incluindo timeouts, limites ao tamanho dos resultados e tratamento de rejeições devolvido à camada aplicacional
- Templates de cluster e de índices geridos como código, com o onboarding de tenants totalmente automatizado
Resultado final
O número de shards caiu cerca de uma ordem de grandeza depois de os tenants pequenos terem sido agrupados, e as operações sobre o cluster state voltaram a ser rápidas. As rejeições nas filas de pesquisa nas horas de ponta praticamente desapareceram, e o onboarding de um novo tenant é agora um passo automatizado em vez da criação manual de um índice.