Présentation
Le modèle d'un index par tenant d'un éditeur SaaS B2B ne tenait plus la montée en charge à mesure que son nombre de clients augmentait. AceMQ a conçu une architecture multi-tenant qui préserve les garanties d'isolation tout en réduisant le nombre de shards que le cluster doit suivre.
Défi
Avec un index par tenant et les paramètres de shards par défaut, la plupart des index contenaient très peu de données, tandis que le cluster supportait le coût en métadonnées de chacun d'eux. Le cluster state avait grossi au point de ralentir chaque décision d'allocation. Dans le même temps, quelques gros tenants pouvaient monopoliser le thread pool de recherche et provoquer des rejets de file d'attente pour tous les autres : l'isolation que le modèle d'un index par tenant devait apporter ne tenait donc pas réellement sous charge.
Environnement
OpenSearch sur Kubernetes, des milliers de tenants allant de quelques milliers de documents à plusieurs centaines de millions.
Approche
Nous avons conçu un modèle à plusieurs niveaux : les petits tenants partagent des index mutualisés avec une clé de routage et une sécurité au niveau des documents, tandis que les gros tenants conservent des index dédiés dimensionnés selon leurs données. En parallèle, nous avons ajouté une gouvernance au niveau de la recherche pour qu'aucun tenant ne puisse épuiser les thread pools partagés, et défini le parcours de promotion que suit un tenant à mesure qu'il grandit.
Solution
- Stratégie d'index à plusieurs niveaux séparant les index mutualisés pour les petits tenants des index dédiés pour les gros
- Routage personnalisé et sécurité au niveau des documents pour préserver l'isolation des tenants au sein des index partagés
- Critères de promotion définis et chemin de réindexation testé pour faire passer un tenant d'un index mutualisé à un index dédié à mesure qu'il grandit
- Dimensionnement du thread pool de recherche, limites de file d'attente et contrôles de concurrence par tenant pour qu'un tenant gourmand ne puisse pas affamer les autres
- Gouvernance des requêtes avec timeouts, plafonds de taille des résultats et gestion des rejets remontée jusqu'à la couche applicative
- Templates de cluster et d'index gérés en tant que code, avec un onboarding des tenants entièrement automatisé
Résultat obtenu
Le nombre de shards a diminué d'environ un ordre de grandeur après la mutualisation des petits tenants, et les opérations sur le cluster state sont redevenues rapides. Les rejets de file d'attente de recherche aux heures de pointe ont en grande partie disparu, et l'onboarding d'un nouveau tenant est désormais une étape automatisée plutôt qu'une création d'index manuelle.