Powrót do wszystkich studiów przypadków

DoradztwoOprogramowanie / platformy cyfrowe

Izolacja najemców, która wytrzymuje klienta odpytującego system dziesięć razy intensywniej niż wszyscy pozostali

Dostawca platformy SaaS B2B

Projekt doradczy obejmujący izolację najemców, strategię indeksów i governance zapytań dla OpenSearch obsługującego tysiące najemców-klientów.

Przegląd

Model jednego indeksu na najemcę stosowany przez dostawcę SaaS B2B przestał się skalować wraz ze wzrostem liczby klientów. AceMQ zaprojektował architekturę najemców, która zachowuje gwarancje izolacji, a jednocześnie ogranicza liczbę shardów, które klaster musi śledzić.

Wyzwanie

Przy jednym indeksie na najemcę i domyślnych ustawieniach shardów większość indeksów zawierała bardzo mało danych, a klaster ponosił koszt metadanych ich wszystkich. Stan klastra urósł na tyle, że spowalniał każdą decyzję o alokacji. Jednocześnie niewielka liczba dużych najemców potrafiła zmonopolizować pulę wątków wyszukiwania i powodować odrzucenia w kolejce dla wszystkich pozostałych, więc izolacja, którą miał zapewniać model indeksu na najemcę, pod obciążeniem w rzeczywistości nie działała.

Środowisko

OpenSearch na Kubernetes, tysiące najemców — od kilku tysięcy dokumentów do setek milionów.

Podejście

Zaprojektowaliśmy model warstwowy: mali najemcy współdzielą indeksy zbiorcze z kluczem routingu i zabezpieczeniami na poziomie dokumentów, a duzi najemcy zachowują dedykowane indeksy zwymiarowane do swoich danych. Równolegle dodaliśmy governance na poziomie wyszukiwania, aby żaden pojedynczy najemca nie mógł wyczerpać współdzielonych pul wątków, i zdefiniowaliśmy ścieżkę awansu, którą najemca przechodzi w miarę wzrostu.

Rozwiązanie

  1. Warstwowa strategia indeksów oddzielająca współdzielone indeksy zbiorcze dla małych najemców od dedykowanych indeksów dla dużych
  2. Niestandardowy routing i zabezpieczenia na poziomie dokumentów, które utrzymują izolację najemców we współdzielonych indeksach
  3. Zdefiniowane kryteria awansu i przetestowana ścieżka reindeksacji umożliwiająca przeniesienie rosnącego najemcy z indeksu zbiorczego do dedykowanego
  4. Rozmiar puli wątków wyszukiwania, limity kolejek i kontrola współbieżności per najemca, aby jeden intensywny najemca nie zagłodził pozostałych
  5. Governance zapytań obejmujące timeouty, limity rozmiaru wyników i obsługę odrzuceń przekazywanych do warstwy aplikacji
  6. Szablony klastra i indeksów zarządzane jako kod oraz w pełni zautomatyzowany onboarding najemców

Efekt

Po przeniesieniu małych najemców do indeksów zbiorczych liczba shardów spadła mniej więcej o rząd wielkości, a operacje na stanie klastra znów stały się szybkie. Odrzucenia w kolejce wyszukiwania w godzinach szczytu w dużej mierze zniknęły, a onboarding nowego najemcy jest teraz zautomatyzowanym krokiem, a nie ręcznym tworzeniem indeksu.

Technologie

OpenSearchKubernetesOpenSearch DashboardsTerraform

Potrzebują Państwo doradztwa w zakresie architektury OpenSearch?

Starsi inżynierowie OpenSearch w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.