Powrót do wszystkich studiów przypadków

Ocena środowiskaAdministracja publiczna / obronność

Ustalenie, co naprawdę da się odtworzyć, a czego nie

Instytucja sektora publicznego

Ocena konfiguracji persystencji, topologii replikacji i zachowania przy przełączaniu awaryjnym w odniesieniu do trwałości danych, jakiej faktycznie wymagają poszczególne obciążenia.

Przegląd

Instytucja sektora publicznego używała Redis do kilku obciążeń o różnych wymaganiach dotyczących trwałości danych, ale z jedną odziedziczoną konfiguracją. Nikt nie potrafił powiedzieć, które dane przetrwają awarię hosta, a które nie. AceMQ oceniło wdrożenie pod kątem rzeczywistych wymagań każdego obciążenia.

Wyzwanie

Opcje persystencji w Redis równoważą trwałość danych i opóźnienia w sposób, który łatwo źle skonfigurować i trudno zauważyć przed wystąpieniem awarii. Instancje instytucji korzystały z interwałów snapshotów, przy których traciłoby się kilka minut zapisów, podczas gdy część obciążeń uważano za trwałe. Replikacji i przełączania awaryjnego nigdy nie testowano, więc zachowanie przy promocji repliki i skala utraty danych przy przełączeniu pozostawały nieznane.

Środowisko

Instancje Redis on-premises z przełączaniem awaryjnym zarządzanym przez Sentinel, obsługujące cache, kolejkowanie i sesje.

Podejście

AceMQ sklasyfikowało każde obciążenie według tego, jaką utratę danych może faktycznie tolerować, a następnie porównało to z gwarancjami bieżącej konfiguracji. Przełączanie awaryjne celowo przećwiczono, a utratę danych zmierzono, zamiast ją szacować, dzięki czemu rozbieżność między założeniami a rzeczywistym zachowaniem udokumentowano dowodami.

Rozwiązanie

  1. Klasyfikacja każdego obciążenia według dopuszczalnej utraty danych i porównanie z tym, co konfiguracja faktycznie gwarantuje
  2. Przegląd interwałów snapshotów i polityki fsync pliku append-only dla każdej instancji w odniesieniu do tych wymagań
  3. Celowe przećwiczenie przełączania awaryjnego Sentinel oraz pomiar faktycznej utraty danych i czasu promocji
  4. Ocena topologii replikacji, konfiguracji kworum i narażenia na split-brain
  5. Weryfikacja procedur odtwarzania z istniejących artefaktów persystencji za pomocą testów odtwarzania z pomiarem czasu
  6. Dostarczenie macierzy trwałości dla każdego obciążenia wraz ze zmianami konfiguracji potrzebnymi do usunięcia każdej luki

Efekt

Instytucja otrzymała udokumentowane, poparte dowodami zestawienie tego, jakie awarie przetrwa każde obciążenie, w miejsce nigdy nietestowanego założenia. Dwa obciążenia uznawane za trwałe okazały się takie nie być i zostały przekonfigurowane, zanim pokazała to awaria.

Technologie

RedisRedis SentinelLinuxPrometheus

Czas na przegląd Health Check Redis?

Starsi inżynierowie Redis w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.