Przegląd
Instytucja sektora publicznego używała Redis do kilku obciążeń o różnych wymaganiach dotyczących trwałości danych, ale z jedną odziedziczoną konfiguracją. Nikt nie potrafił powiedzieć, które dane przetrwają awarię hosta, a które nie. AceMQ oceniło wdrożenie pod kątem rzeczywistych wymagań każdego obciążenia.
Wyzwanie
Opcje persystencji w Redis równoważą trwałość danych i opóźnienia w sposób, który łatwo źle skonfigurować i trudno zauważyć przed wystąpieniem awarii. Instancje instytucji korzystały z interwałów snapshotów, przy których traciłoby się kilka minut zapisów, podczas gdy część obciążeń uważano za trwałe. Replikacji i przełączania awaryjnego nigdy nie testowano, więc zachowanie przy promocji repliki i skala utraty danych przy przełączeniu pozostawały nieznane.
Środowisko
Instancje Redis on-premises z przełączaniem awaryjnym zarządzanym przez Sentinel, obsługujące cache, kolejkowanie i sesje.
Podejście
AceMQ sklasyfikowało każde obciążenie według tego, jaką utratę danych może faktycznie tolerować, a następnie porównało to z gwarancjami bieżącej konfiguracji. Przełączanie awaryjne celowo przećwiczono, a utratę danych zmierzono, zamiast ją szacować, dzięki czemu rozbieżność między założeniami a rzeczywistym zachowaniem udokumentowano dowodami.
Rozwiązanie
- Klasyfikacja każdego obciążenia według dopuszczalnej utraty danych i porównanie z tym, co konfiguracja faktycznie gwarantuje
- Przegląd interwałów snapshotów i polityki fsync pliku append-only dla każdej instancji w odniesieniu do tych wymagań
- Celowe przećwiczenie przełączania awaryjnego Sentinel oraz pomiar faktycznej utraty danych i czasu promocji
- Ocena topologii replikacji, konfiguracji kworum i narażenia na split-brain
- Weryfikacja procedur odtwarzania z istniejących artefaktów persystencji za pomocą testów odtwarzania z pomiarem czasu
- Dostarczenie macierzy trwałości dla każdego obciążenia wraz ze zmianami konfiguracji potrzebnymi do usunięcia każdej luki
Efekt
Instytucja otrzymała udokumentowane, poparte dowodami zestawienie tego, jakie awarie przetrwa każde obciążenie, w miejsce nigdy nietestowanego założenia. Dwa obciążenia uznawane za trwałe okazały się takie nie być i zostały przekonfigurowane, zanim pokazała to awaria.