Visão geral
O modelo de um índice por tenant de um provedor SaaS B2B tinha deixado de escalar à medida que a base de clientes crescia. A AceMQ desenhou uma arquitetura de tenants que mantém as garantias de isolamento e reduz o número de shards que o cluster precisa acompanhar.
Desafio
Com um índice por tenant e as configurações de shards padrão, a maioria dos índices guardava pouquíssimos dados, enquanto o cluster arcava com o custo de metadados de todos eles. O cluster state cresceu o bastante para deixar lenta cada decisão de alocação. Ao mesmo tempo, um pequeno número de tenants grandes conseguia monopolizar o thread pool de busca e causar rejeições na fila para todos os demais, então o isolamento que o modelo de um índice por tenant deveria oferecer não se sustentava de fato sob carga.
Ambiente
OpenSearch em Kubernetes, com milhares de tenants que vão de alguns milhares de documentos a centenas de milhões.
Abordagem
Desenhamos um modelo em camadas: os tenants pequenos compartilham índices agrupados, com uma routing key e document-level security, enquanto os tenants grandes mantêm índices dedicados, dimensionados para os seus dados. Junto com isso, adicionamos governança no nível da busca para que nenhum tenant sozinho consiga esgotar os thread pools compartilhados, e definimos o caminho de promoção que um tenant segue à medida que cresce.
Solução
- Estratégia de índices em camadas, separando índices compartilhados agrupados para tenants pequenos de índices dedicados para os grandes
- Routing personalizado e document-level security para manter o isolamento entre tenants dentro dos índices compartilhados
- Critérios de promoção definidos e um caminho de reindexação testado para mover um tenant do índice agrupado para um dedicado à medida que ele cresce
- Dimensionamento do thread pool de busca, limites de fila e controles de concorrência por tenant para que um tenant pesado não deixe os demais sem recursos
- Governança de consultas com timeouts, limites de tamanho dos resultados e tratamento de rejeições devolvido à camada de aplicação
- Templates de cluster e de índices gerenciados como código, com o onboarding de tenants automatizado de ponta a ponta
Resultado obtido
O número de shards caiu cerca de uma ordem de grandeza depois que os tenants pequenos foram agrupados, e as operações de cluster state voltaram a ser rápidas. As rejeições na fila de busca nos horários de pico praticamente desapareceram, e o onboarding de um novo tenant agora é uma etapa automatizada, e não a criação manual de um índice.