Przegląd
Agencja sektora publicznego eksploatowała klaster Cassandra odziedziczony po współpracy z dostawcą, która zakończyła się wiele lat wcześniej. Dokumentacja była szczątkowa, a zespół operacyjny nigdy nie otrzymał punktu odniesienia. AceMQ oceniło klaster w odniesieniu do bieżącego obciążenia i prognozowanego wzrostu.
Wyzwanie
Ocena odziedziczonego klastra wymaga oddzielenia świadomych decyzji projektowych od nagromadzonych przypadkowych ustawień. Współczynnik replikacji i poziomy spójności trzeba było zestawić z trwałością danych, jakiej agencja faktycznie potrzebowała, rozkład tokenów zweryfikować pod kątem gorących punktów, a zachowanie JVM i garbage collectora zmierzyć pod rzeczywistym obciążeniem, zamiast wnioskować o nim z ustawień.
Środowisko
Klaster Apache Cassandra on-premise obsługujący obciążenia związane z zarządzaniem sprawami i retencją dokumentacji.
Podejście
AceMQ zebrało dane z działającego klastra — własność tokenów, rozkład obciążenia na poszczególne węzły, rozkłady pauz garbage collectora, zaległości kompakcji i kolejki oczekujących zadań — i oceniło je pod kątem wymagań agencji dotyczących trwałości i dostępności. Wnioski uszeregowano według tego, jak blisko każdy z nich był wywołania incydentu.
Rozwiązanie
- Weryfikacja własności tokenów i rozkładu obciążenia na węzły w celu wykrycia gorących punktów i niezrównoważonych węzłów
- Przegląd współczynnika replikacji i poziomów spójności w odniesieniu do faktycznych wymagań agencji dotyczących trwałości danych
- Pomiar rozkładu pauz garbage collectora i zachowania sterty pod obciążeniem produkcyjnym
- Ocena zaległości kompakcji, oczekujących zadań i liczby SSTable na tabelę pod kątem narastającego długu
- Ocena pokrycia i historii wykonania naprawy (repair) w odniesieniu do gc_grace_seconds
- Prognoza zapasu pojemności względem wzrostu i przekazanie mapy działań naprawczych uszeregowanych według ryzyka
Efekt
Agencja otrzymała punkt odniesienia, którego nigdy wcześniej nie miała, z określonymi i uszeregowanymi elementami najbliższymi wywołania awarii. W efekcie poprawiono kilka odziedziczonych ustawień konfiguracji, w tym poziomy spójności, które nie odpowiadały deklarowanym wymaganiom dotyczącym trwałości danych.