Powrót do wszystkich studiów przypadków

Ocena środowiskaAdministracja publiczna / obronność

Jasny obraz zapasu, ryzyka i tego, co zawiedzie jako pierwsze

Agencja sektora publicznego

Ocena obejmująca topologię, konfigurację replikacji i poziomów spójności, zachowanie JVM i garbage collectora, kondycję kompakcji oraz zapas pojemności na wzrost.

Przegląd

Agencja sektora publicznego eksploatowała klaster Cassandra odziedziczony po współpracy z dostawcą, która zakończyła się wiele lat wcześniej. Dokumentacja była szczątkowa, a zespół operacyjny nigdy nie otrzymał punktu odniesienia. AceMQ oceniło klaster w odniesieniu do bieżącego obciążenia i prognozowanego wzrostu.

Wyzwanie

Ocena odziedziczonego klastra wymaga oddzielenia świadomych decyzji projektowych od nagromadzonych przypadkowych ustawień. Współczynnik replikacji i poziomy spójności trzeba było zestawić z trwałością danych, jakiej agencja faktycznie potrzebowała, rozkład tokenów zweryfikować pod kątem gorących punktów, a zachowanie JVM i garbage collectora zmierzyć pod rzeczywistym obciążeniem, zamiast wnioskować o nim z ustawień.

Środowisko

Klaster Apache Cassandra on-premise obsługujący obciążenia związane z zarządzaniem sprawami i retencją dokumentacji.

Podejście

AceMQ zebrało dane z działającego klastra — własność tokenów, rozkład obciążenia na poszczególne węzły, rozkłady pauz garbage collectora, zaległości kompakcji i kolejki oczekujących zadań — i oceniło je pod kątem wymagań agencji dotyczących trwałości i dostępności. Wnioski uszeregowano według tego, jak blisko każdy z nich był wywołania incydentu.

Rozwiązanie

  1. Weryfikacja własności tokenów i rozkładu obciążenia na węzły w celu wykrycia gorących punktów i niezrównoważonych węzłów
  2. Przegląd współczynnika replikacji i poziomów spójności w odniesieniu do faktycznych wymagań agencji dotyczących trwałości danych
  3. Pomiar rozkładu pauz garbage collectora i zachowania sterty pod obciążeniem produkcyjnym
  4. Ocena zaległości kompakcji, oczekujących zadań i liczby SSTable na tabelę pod kątem narastającego długu
  5. Ocena pokrycia i historii wykonania naprawy (repair) w odniesieniu do gc_grace_seconds
  6. Prognoza zapasu pojemności względem wzrostu i przekazanie mapy działań naprawczych uszeregowanych według ryzyka

Efekt

Agencja otrzymała punkt odniesienia, którego nigdy wcześniej nie miała, z określonymi i uszeregowanymi elementami najbliższymi wywołania awarii. W efekcie poprawiono kilka odziedziczonych ustawień konfiguracji, w tym poziomy spójności, które nie odpowiadały deklarowanym wymaganiom dotyczącym trwałości danych.

Technologie

Apache CassandraLinuxPrometheusKubernetes

Czas na przegląd Health Check Apache Cassandra?

Starsi inżynierowie Apache Cassandra w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.