Retour à tous les cas d'usage

ConseilLogiciels / plateformes numériques

Une isolation des tenants qui résiste au client qui interroge dix fois plus fort que tous les autres

Éditeur de plateforme SaaS B2B

Mission de conseil pour concevoir l'isolation des tenants, la stratégie d'index et la gouvernance des requêtes d'un OpenSearch servant des milliers de tenants clients.

Présentation

Le modèle d'un index par tenant d'un éditeur SaaS B2B ne tenait plus la montée en charge à mesure que son nombre de clients augmentait. AceMQ a conçu une architecture multi-tenant qui préserve les garanties d'isolation tout en réduisant le nombre de shards que le cluster doit suivre.

Défi

Avec un index par tenant et les paramètres de shards par défaut, la plupart des index contenaient très peu de données, tandis que le cluster supportait le coût en métadonnées de chacun d'eux. Le cluster state avait grossi au point de ralentir chaque décision d'allocation. Dans le même temps, quelques gros tenants pouvaient monopoliser le thread pool de recherche et provoquer des rejets de file d'attente pour tous les autres : l'isolation que le modèle d'un index par tenant devait apporter ne tenait donc pas réellement sous charge.

Environnement

OpenSearch sur Kubernetes, des milliers de tenants allant de quelques milliers de documents à plusieurs centaines de millions.

Approche

Nous avons conçu un modèle à plusieurs niveaux : les petits tenants partagent des index mutualisés avec une clé de routage et une sécurité au niveau des documents, tandis que les gros tenants conservent des index dédiés dimensionnés selon leurs données. En parallèle, nous avons ajouté une gouvernance au niveau de la recherche pour qu'aucun tenant ne puisse épuiser les thread pools partagés, et défini le parcours de promotion que suit un tenant à mesure qu'il grandit.

Solution

  1. Stratégie d'index à plusieurs niveaux séparant les index mutualisés pour les petits tenants des index dédiés pour les gros
  2. Routage personnalisé et sécurité au niveau des documents pour préserver l'isolation des tenants au sein des index partagés
  3. Critères de promotion définis et chemin de réindexation testé pour faire passer un tenant d'un index mutualisé à un index dédié à mesure qu'il grandit
  4. Dimensionnement du thread pool de recherche, limites de file d'attente et contrôles de concurrence par tenant pour qu'un tenant gourmand ne puisse pas affamer les autres
  5. Gouvernance des requêtes avec timeouts, plafonds de taille des résultats et gestion des rejets remontée jusqu'à la couche applicative
  6. Templates de cluster et d'index gérés en tant que code, avec un onboarding des tenants entièrement automatisé

Résultat obtenu

Le nombre de shards a diminué d'environ un ordre de grandeur après la mutualisation des petits tenants, et les opérations sur le cluster state sont redevenues rapides. Les rejets de file d'attente de recherche aux heures de pointe ont en grande partie disparu, et l'onboarding d'un nouveau tenant est désormais une étape automatisée plutôt qu'une création d'index manuelle.

Technologies

OpenSearchKubernetesOpenSearch DashboardsTerraform

Besoin de conseils en architecture OpenSearch ?

Les ingénieurs OpenSearch seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.