Poradnik · Redis

Redis: przewodnik po kopiach zapasowych i disaster recovery

Redis jest traktowany jak cache do dnia, w którym przestaje nim być, a plan odtwarzania zwykle odkrywa się w trakcie incydentu. Ten przewodnik rozdziela cztery rzeczy, które często się ze sobą myli — replikację, trwałość danych, kopię zapasową i disaster recovery — a następnie omawia kolejne decyzje w kolejności, w jakiej trzeba je podjąć. Przy każdym kroku krótka odpowiedź i artykuł, w którym znajdą Państwo szczegóły.

Tyler Eastridge

Autor: Tyler Eastridge, Dyrektor ds. operacyjnych

LinkedIn · Aktualizacja: · 5 min czytania · Sekcje: 9

Na tej stronie

Cztery rzeczy, które nie są tym samym

Cztery rzeczy, które nie są tym samym

Większość utraconych danych Redis to skutek pomylenia jednego z tych mechanizmów z innym.

MechanizmChroni przedNie chroni przed
ReplikacjaUtratą jednego węzłaBłędnym zapisem, omyłkowym FLUSHALL, uszkodzonym kluczem — kopiuje je natychmiast
Snapshot RDBUtratą procesu lub hosta, do stanu z ostatniego snapshotuUtratą wszystkiego, co zapisano od tego snapshotu
AOFUtratą procesu, z dokładnością do sekundy przy domyślnym fsyncUtratą systemu plików, jeśli AOF leży na tym samym wolumenie
Kopia zapasowa poza hostemUtratą hosta, wolumenu i regionu; błędem operatoraNiczym, jeśli przywracania nigdy nie przetestowano

RDB i AOF chronią przed czym innym

Snapshot RDB to migawka zbioru danych z danego momentu (fork), zapisana jako zwarty plik: szybko się wczytuje, łatwo i tanio go wysłać poza hosta, ale traci wszystko, co zapisano od ostatniego snapshotu. AOF dopisuje każdy zapis do logu i przy domyślnym fsync co sekundę traci najwyżej około sekundy danych, ale przy starcie jest odtwarzany od początku i przy dużym zbiorze danych wczytuje się dłużej.

Większość środowisk produkcyjnych korzysta z obu: AOF wyznacza punkt odtwarzania, a okresowy RDB daje przenośny plik, który trafia poza hosta. Brak obu mechanizmów, co w niektórych buildach jest ustawieniem domyślnym, oznacza, że restart równa się całkowitej utracie danych.

Trwałość danych dobrana do określonego RPO, a nie do ustawień domyślnych

Konfigurację rozstrzyga pytanie, ile danych firma może stracić, wyrażone w sekundach lub minutach. Nikt go nie zadaje, więc odpowiedź dziedziczy się z pliku konfiguracyjnego, który akurat skopiowano jako pierwszy, a jej błędność zwykle wychodzi na jaw podczas pierwszego prawdziwego incydentu.

Należy uzyskać konkretną liczbę od właściciela aplikacji, a potem dobrać mechanizm, który ją spełnia: sekundy oznaczają AOF z odpowiednią polityką fsync, minuty — RDB w dopasowanym interwale, a zero oznacza, że Redis nie może być systemem źródłowym dla tych danych.

Replikacja nie jest kopią zapasową

Replika w ciągu milisekund stosuje wszystko, co wyśle jej węzeł główny. Chroni to przed awarią sprzętu i przed niczym więcej: omyłkowy FLUSHALL, błąd aplikacji zapisujący śmieci czy klucz usunięty przez operatora zostają wiernie zreplikowane do każdej repliki, zanim ktokolwiek to zauważy.

Kopie zapasowe muszą być osobnymi kopiami, przechowywanymi poza hostem węzła głównego i poza zasięgiem jego awarii, z liczbą zachowanych wersji wystarczającą, by sięgnąć do stanu sprzed momentu, w którym zaczęły się szkody.

Kopia poza hostem, według harmonogramu, z retencją

Plik RDB leżący na tym samym wolumenie co zbiór danych przetrwa awarię procesu i nic poważniejszego. Kopia zapasowa zaczyna istnieć dopiero wtedy, gdy znajduje się gdzie indziej: w object storage, w innym regionie albo na osobnym koncie.

Należy ustalić harmonogram zgodny z RPO z kroku drugiego, przechowywać tyle generacji, by dało się odtworzyć dane po szkodach wykrytych po kilku dniach, i szyfrować dane w spoczynku, bo zrzut Redis zawiera każdą wartość otwartym tekstem.

Docelowe czasy reakcji od 15 minut, zależnie od planu. Przypisani starsi inżynierowie.

Kontakt

Odtwarzanie między lokalizacjami: tryb trzeba wybrać przed awarią

Opcje międzyregionowe obejmują replikację asynchroniczną, ciepłą rezerwę (warm standby) i odtwarzanie z kopii zapasowej, a różnią się o rząd wielkości zarówno pod względem RPO, jak i kosztu. Tryb active-active jest dostępny w niektórych buildach komercyjnych i wprowadza reguły rozwiązywania konfliktów, pod które aplikacja musi zostać napisana.

Tryb należy wybrać względem zapisanych wartości RPO i RTO, a failover powinien być świadomą decyzją z wyznaczonym właścicielem, a nie czymś, co automatyka próbuje wykonać w trakcie podziału sieci.

Przećwiczyć przywracanie, bo to ono zawodzi

Zadania backupu niezawodnie raportują sukces. Przywracanie zawodzi na rzeczach, których nikt nie sprawdził: zrzut z innej wersji Redis, limit pamięci na serwerze docelowym mniejszy niż zbiór danych, odtwarzanie klastra do innego układu slotów albo AOF, którego nigdy nie przepisano i którego odtworzenie trwa godzinami.

Należy regularnie przywracać dane do środowiska testowego, mierzyć czas i zapisywać wynik. Ten czas to Państwa rzeczywiste RTO; wszystko inne to szacunki.

Co obejmuje dostawca usługi zarządzanej, a co pozostaje po Państwa stronie

ElastiCache, Azure Cache, Memorystore i Redis Cloud wykonują snapshoty i każda z tych usług ma własny limit retencji, zachowanie międzyregionowe i zasady eksportu. Żadna z nich nie ustali za Państwa RPO, nie przechowa danych dłużej niż jej maksymalne okno ani nie sprawdzi, czy przywracanie mieści się w RTO.

Warto przeczytać konkretne limity dla używanego poziomu usługi, a nie stronę marketingową, i utrzymywać niezależny eksport, jeśli retencja musi przekraczać limit platformy.

Valkey: te same mechanizmy, inne pytanie o wsparcie

Valkey powstał jako fork Redis 7.2 i dziedziczy bez zmian RDB, AOF i replikację, więc wszystko powyżej ma zastosowanie. Zmienia się to, kto naprawi problem, gdy przywracanie zawiedzie na forku, którego dostawca platformy formalnie nie wspiera.

Jeśli trwa migracja, należy utrzymywać kopie zapasowe po obu stronach aż do przełączenia i potwierdzić zgodność zrzutów w kierunku, w którym może być potrzebny powrót.

Wyznaczyć osobę odpowiedzialną za przywracanie, zanim będzie potrzebne

Przetestowana kopia zapasowa, której nikt nie ma w grafiku dyżurów, to dokument, a nie plan odtwarzania. Przywracanie zwykle odbywa się poza godzinami pracy, pod presją, w dniu, w którym osoba konfigurująca trwałość danych jest niedostępna.

Należy spisać runbook, wyznaczyć właściciela i potwierdzić ścieżkę eskalacji. Tam, gdzie nie ma wewnętrznego dyżuru Redis, tę lukę wypełnia umowa wsparcia technicznego.

Najczęściej zadawane pytania

Czy replikacja Redis jest kopią zapasową?

Nie. Replika w ciągu milisekund stosuje wszystko, co wyśle węzeł główny, więc omyłkowy FLUSHALL, błąd aplikacji czy usunięcie danych przez operatora trafia do każdej repliki, zanim ktokolwiek to zauważy. Replikacja chroni przed utratą węzła; kopia zapasowa to osobna kopia przechowywana poza hostem, z liczbą zachowanych wersji pozwalającą sięgnąć do stanu sprzed szkód.

RDB czy AOF — co wybrać do zapewnienia trwałości danych w Redis?

Zwykle oba. AOF wyznacza punkt odtwarzania i przy domyślnym fsync co sekundę traci około sekundy danych, a okresowy RDB daje zwarty, przenośny plik do wysłania poza hosta. Wybór należy oprzeć na określonym RPO, a nie na ustawieniach domyślnych: sekundy oznaczają AOF, minuty — RDB w dopasowanym interwale, a zero oznacza, że Redis nie powinien być systemem źródłowym dla tych danych.

Jak wykonywać kopie zapasowe Redis do innego regionu?

Wysyłać snapshoty RDB do object storage w drugim regionie według harmonogramu dopasowanego do RPO, z szyfrowaniem w spoczynku, bo zrzut zawiera każdą wartość otwartym tekstem. Przy niższym RPO — asynchroniczna replikacja międzyregionowa lub ciepła rezerwa, przy czym failover powinien być świadomą decyzją, a nie działaniem automatyki w trakcie podziału sieci.

Jakie RTO jest realistyczne dla Redis?

Tyle, ile faktycznie trwa zmierzone przywracanie do środowiska testowego — to jedyna uczciwa liczba. Duże pliki AOF, których nigdy nie przepisano, odtwarzają się powoli, a przywracanie klastra do innego układu slotów trwa dłużej niż w przypadku pojedynczego węzła. Szacunki, których nigdy nie przećwiczono, są zwykle mocno optymistyczne.

Czy ElastiCache lub Azure Cache robią za mnie kopie zapasowe Redis?

Wykonują snapshoty, a każda usługa ma własny limit retencji, zachowanie międzyregionowe i zasady eksportu zależne od poziomu usługi. Nie ustalają jednak za Państwa RPO, nie przechowują danych dłużej niż ich maksymalne okno i nie dowodzą, że przywracanie mieści się w RTO. Jeśli retencja musi przekraczać limit platformy, należy utrzymywać niezależny eksport.

Bezpłatna konsultacja

Niech eksperci przyjrzą się Państwa wdrożeniu Redis

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas