Przegląd
Model jednego indeksu na najemcę stosowany przez dostawcę SaaS B2B przestał się skalować wraz ze wzrostem liczby klientów. AceMQ zaprojektował architekturę najemców, która zachowuje gwarancje izolacji, a jednocześnie ogranicza liczbę shardów, które klaster musi śledzić.
Wyzwanie
Przy jednym indeksie na najemcę i domyślnych ustawieniach shardów większość indeksów zawierała bardzo mało danych, a klaster ponosił koszt metadanych ich wszystkich. Stan klastra urósł na tyle, że spowalniał każdą decyzję o alokacji. Jednocześnie niewielka liczba dużych najemców potrafiła zmonopolizować pulę wątków wyszukiwania i powodować odrzucenia w kolejce dla wszystkich pozostałych, więc izolacja, którą miał zapewniać model indeksu na najemcę, pod obciążeniem w rzeczywistości nie działała.
Środowisko
OpenSearch na Kubernetes, tysiące najemców — od kilku tysięcy dokumentów do setek milionów.
Podejście
Zaprojektowaliśmy model warstwowy: mali najemcy współdzielą indeksy zbiorcze z kluczem routingu i zabezpieczeniami na poziomie dokumentów, a duzi najemcy zachowują dedykowane indeksy zwymiarowane do swoich danych. Równolegle dodaliśmy governance na poziomie wyszukiwania, aby żaden pojedynczy najemca nie mógł wyczerpać współdzielonych pul wątków, i zdefiniowaliśmy ścieżkę awansu, którą najemca przechodzi w miarę wzrostu.
Rozwiązanie
- Warstwowa strategia indeksów oddzielająca współdzielone indeksy zbiorcze dla małych najemców od dedykowanych indeksów dla dużych
- Niestandardowy routing i zabezpieczenia na poziomie dokumentów, które utrzymują izolację najemców we współdzielonych indeksach
- Zdefiniowane kryteria awansu i przetestowana ścieżka reindeksacji umożliwiająca przeniesienie rosnącego najemcy z indeksu zbiorczego do dedykowanego
- Rozmiar puli wątków wyszukiwania, limity kolejek i kontrola współbieżności per najemca, aby jeden intensywny najemca nie zagłodził pozostałych
- Governance zapytań obejmujące timeouty, limity rozmiaru wyników i obsługę odrzuceń przekazywanych do warstwy aplikacji
- Szablony klastra i indeksów zarządzane jako kod oraz w pełni zautomatyzowany onboarding najemców
Efekt
Po przeniesieniu małych najemców do indeksów zbiorczych liczba shardów spadła mniej więcej o rząd wielkości, a operacje na stanie klastra znów stały się szybkie. Odrzucenia w kolejce wyszukiwania w godzinach szczytu w dużej mierze zniknęły, a onboarding nowego najemcy jest teraz zautomatyzowanym krokiem, a nie ręcznym tworzeniem indeksu.