Descripción general
El modelo de un índice por tenant de un proveedor SaaS B2B había dejado de escalar a medida que crecía su cantidad de clientes. AceMQ diseñó una arquitectura de tenants que mantiene las garantías de aislamiento y reduce la cantidad de shards que el clúster tiene que gestionar.
Desafío
Con un índice por tenant y la configuración de shards predeterminada, la mayoría de los índices contenían muy pocos datos, mientras que el clúster cargaba con el costo de metadatos de todos ellos. El cluster state creció tanto que ralentizaba cada decisión de asignación. Al mismo tiempo, unos pocos tenants grandes podían acaparar el thread pool de búsqueda y provocar rechazos en la cola para todos los demás, así que el aislamiento que supuestamente brindaba el modelo de un índice por tenant no se sostenía bajo carga.
Entorno
OpenSearch en Kubernetes, con miles de tenants que van desde unos pocos miles de documentos hasta cientos de millones.
Enfoque
Diseñamos un modelo por niveles: los tenants pequeños comparten índices agrupados con una clave de enrutamiento y seguridad a nivel de documento, mientras que los tenants grandes conservan índices dedicados dimensionados según sus datos. Además, agregamos gobernanza a nivel de búsqueda para que ningún tenant pueda agotar los thread pools compartidos, y definimos el camino de promoción que sigue un tenant a medida que crece.
Solución
- Estrategia de índices por niveles que separa los índices compartidos agrupados para tenants pequeños de los índices dedicados para los grandes
- Enrutamiento personalizado y seguridad a nivel de documento para mantener intacto el aislamiento entre tenants dentro de los índices compartidos
- Criterios de promoción definidos y un camino de reindexación probado para pasar un tenant de un índice agrupado a uno dedicado a medida que crece
- Dimensionamiento del thread pool de búsqueda, límites de cola y controles de concurrencia por tenant para que un tenant pesado no deje sin recursos al resto
- Gobernanza de consultas con timeouts, límites al tamaño de los resultados y manejo de rechazos que se informa a la capa de aplicación
- Plantillas de clúster y de índices gestionadas como código, con el alta de tenants automatizada de punta a punta
Resultado final
La cantidad de shards se redujo aproximadamente en un orden de magnitud tras agrupar a los tenants pequeños, y las operaciones sobre el cluster state volvieron a ser rápidas. Los rechazos en la cola de búsqueda durante las horas pico prácticamente desaparecieron, y dar de alta un tenant nuevo ahora es un paso automatizado en lugar de una creación manual de índices.