Powrót do wszystkich studiów przypadków

Ocena środowiskaAdministracja publiczna / obronność

Dlaczego klaster z dużym zapasem sprzętu wciąż działa wolno

Instytucja sektora publicznego

Ocena przeshardowanego klastra Elasticsearch, w którym rozmiar stanu klastra i kolejki oczekujących zadań powodowały niestabilność węzła master.

Przegląd

Instytucja, która od kilku lat tworzyła indeksy dzienne, zgromadziła dziesiątki tysięcy małych shardów. Dokładanie sprzętu przestało pomagać, a wybory mastera trwały na tyle długo, że przerywały indeksowanie. AceMQ oceniło klaster, aby ustalić, czy problemem jest pojemność, czy projekt.

Wyzwanie

Każdy indeks dzienny miał domyślną liczbę shardów niezależnie od tego, czy zawierał kilka megabajtów, czy setki gigabajtów. Powstały w ten sposób stan klastra był tak duży, że opublikowanie aktualizacji na wszystkich węzłach trwało kilka sekund, oczekujące zadania piętrzyły się w kolejce, a każdy failover mastera zamieniał się w kilkuminutową awarię. Nikt nie mógł bezpiecznie zmienić szablonu indeksu, bo nie było jasne, które wyszukiwania zależą od dotychczasowego nazewnictwa indeksów.

Środowisko

Lokalny klaster Elasticsearch, dzienne indeksy czasowe z wieloletnią retencją, mieszane obciążenia wyszukiwania w logach i dokumentach.

Podejście

Ocena obejmuje inwentaryzację liczby i rozkładu rozmiarów shardów dla każdego wzorca indeksów, pomiar rozmiaru stanu klastra i opóźnienia jego publikacji oraz ustalenie, które indeksy faktycznie otrzymują zapytania. Oddzielamy indeksy, które trzeba przekształcić, od tych, które wystarczy zrollupować lub usunąć, i dostarczamy uporządkowany plan, który klient może zrealizować w ramach zwykłych prac serwisowych.

Rozwiązanie

  1. Pełna inwentaryzacja shardów według wzorca indeksów z rozkładem rozmiarów, pokazująca, które wzorce tworzą shardy znacznie mniejsze lub większe od użytecznego rozmiaru
  2. Pomiar rozmiaru stanu klastra i opóźnienia publikacji w celu bezpośredniego określenia narzutu mastera
  3. Odwzorowanie ruchu zapytań dla każdego indeksu, dzięki któremu decyzje o retencji opierają się na danych, a nie na założeniach polityki
  4. Rekomendowany docelowy rozmiar shardów i strategia rollover z użyciem ILM z warunkami opartymi na rozmiarze i wieku
  5. Uporządkowany plan naprawczy obejmujący kroki shrink, reindex i rollup w kolejności, która przez cały czas zachowuje dostępność wyszukiwania
  6. Model pojemności pokazujący, czego klaster faktycznie potrzebuje po konsolidacji, co pozwala uniknąć niepotrzebnego zakupu sprzętu

Efekt

Liczba shardów drastycznie spadła po skonsolidowaniu indeksów dziennych i zrollupowaniu starych danych, co skróciło czas publikacji stanu klastra do ułamka wcześniejszej wartości. Failover mastera przestał być zdarzeniem, a planowaną rozbudowę sprzętu odłożono.

Technologie

ElasticsearchKibanaLinux

Czas na przegląd Health Check Elasticsearch?

Starsi inżynierowie Elasticsearch w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.