Überblick
Das Modell mit einem Index pro Mandant skalierte bei einem B2B-SaaS-Anbieter mit wachsender Kundenzahl nicht mehr. AceMQ entwarf eine Mandantenarchitektur, die die Garantien zur Trennung beibehält und zugleich die Zahl der Shards senkt, die der Cluster verwalten muss.
Herausforderung
Mit einem Index pro Mandant und Standard-Shard-Einstellungen enthielten die meisten Indizes nur sehr wenige Daten, während der Cluster die Metadatenkosten für alle trug. Der Cluster State wurde so groß, dass er jede Allokationsentscheidung verlangsamte. Gleichzeitig konnten einige wenige große Mandanten den Search Thread Pool monopolisieren und für alle anderen Queue Rejections verursachen. Die Trennung, die das Modell mit einem Index pro Mandant eigentlich bieten sollte, hielt unter Last also nicht.
Umgebung
OpenSearch auf Kubernetes, Tausende von Mandanten zwischen einigen Tausend und Hunderten Millionen Dokumenten.
Vorgehen
Wir entwarfen ein gestuftes Modell: Kleine Mandanten teilen sich gepoolte Indizes mit Routing Key und Document-Level Security, große Mandanten behalten eigene Indizes, die auf ihre Datenmenge zugeschnitten sind. Zusätzlich führten wir eine Governance auf Suchebene ein, damit kein einzelner Mandant gemeinsam genutzte Thread Pools erschöpfen kann, und definierten den Pfad, über den ein Mandant beim Wachsen hochgestuft wird.
Lösung
- Gestufte Index-Strategie, die gepoolte, gemeinsam genutzte Indizes für kleine Mandanten von eigenen Indizes für große Mandanten trennt
- Eigenes Routing und Document-Level Security, damit die Mandantentrennung auch innerhalb gemeinsamer Indizes intakt bleibt
- Festgelegte Kriterien für die Hochstufung und ein getesteter Reindex-Pfad, um einen wachsenden Mandanten von gepoolt auf dediziert umzuziehen
- Dimensionierung des Search Thread Pools, Queue-Limits und Parallelitätskontrollen je Mandant, damit ein einzelner schwerer Mandant die anderen nicht aushungern kann
- Abfrage-Governance mit Timeouts, Obergrenzen für die Ergebnisgröße und einer Behandlung von Rejections, die an die Anwendungsschicht zurückgemeldet wird
- Cluster- und Index-Templates als Code verwaltet, mit durchgängig automatisiertem Onboarding neuer Mandanten
Resultat
Nach dem Pooling der kleinen Mandanten sank die Zahl der Shards um etwa eine Größenordnung, und Operationen auf dem Cluster State waren wieder schnell. Queue Rejections bei der Suche in Spitzenzeiten verschwanden weitgehend, und das Onboarding eines neuen Mandanten ist heute ein automatisierter Schritt statt einer manuellen Index-Anlage.