BlogKafka

Disaster recovery w Apache Kafka: strategie wieloregionowe, architektury i kompromisy RPO/RTO

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja: · 10 min czytania

Disaster recovery w Apache Kafka: strategie wieloregionowe, architektury i kompromisy RPO/RTO
On this page

Aby skonfigurować disaster recovery dla Kafki, wdraża się drugi klaster Kafka w niezależnej domenie awarii — w osobnym regionie lub centrum danych — w sposób ciągły replikuje do niego tematy i offsety grup konsumentów za pomocą narzędzi takich jak Kafka MirrorMaker 2, Confluent Replicator lub AWS MSK Replicator oraz utrzymuje przetestowany runbook przełączenia awaryjnego, który przekierowuje producentów i konsumentów do klastra docelowego. Wybór architektury — active-passive, active-active lub klaster rozciągnięty — wyznaczają dwie liczby: docelowy punkt odtworzenia (RPO, czyli ile danych można stracić) i docelowy czas odtworzenia (RTO, czyli jak szybko trzeba przywrócić usługę). Cała reszta planu disaster recovery dla Kafki wynika z tych dwóch wymagań biznesowych.

Ten przewodnik omawia główne architektury disaster recovery dla Kafki, kompromisy między nimi oraz operacyjne pułapki — zwłaszcza translację offsetów — które odróżniają plan dobrze wyglądający na papierze od takiego, który faktycznie przetrwa scenariusz katastrofy.

Dlaczego pojedynczy klaster Kafka nie jest strategią DR

Apache Kafka bywa opisywana jako system odporny na awarie i w obrębie jednego klastra to prawda. Przy współczynniku replikacji 3 Kafka rozkłada dane partycji na wiele brokerów, więc utrata jednego lub dwóch brokerów w klastrze nie powoduje utraty danych. Wybór lidera automatycznie promuje zsynchronizowane repliki, a dobrze skonfigurowane wdrożenie bez trudu znosi rutynowe awarie brokerów.

Wbudowana replikacja chroni jednak tylko wewnątrz jednej domeny awarii. Pojedynczy klaster — nawet rozłożony na wiele szaf — działa w jednym regionie, w jednej sieci i w jednym zasięgu skutków błędów administracyjnych. Nie chroni przed utratą całego regionu, przypadkowym usunięciem tematu, błędną zmianą ACL, uszkodzeniem kworum KRaft ani awarią dostawcy chmury. Wysoka dostępność i disaster recovery to różne dyscypliny: HA utrzymuje klaster w działaniu mimo awarii komponentów, a DR przywraca usługę Kafka, gdy znika całe środowisko.

Dla zespołów utrzymujących potoki danych czasu rzeczywistego, od których zależy biznes, to rozróżnienie jest fundamentem planowania ciągłości działania. Jeśli Kafka stanowi kręgosłup płatności, logistyki lub wykrywania nadużyć, przestój liczony w godzinach jest nie do przyjęcia — podobnie jak ciche gubienie zdarzeń.

Zacznij od RPO i RTO, a nie od narzędzi

Zanim porówna się narzędzia do replikacji, trzeba ustalić z biznesem dwie liczby:

  • Docelowy punkt odtworzenia (RPO) — maksymalna akceptowalna utrata danych, mierzona w czasie. RPO wynoszące pięć minut oznacza, że w razie katastrofy można stracić do pięciu minut danych z Kafki.
  • Docelowy czas odtworzenia (RTO) — maksymalny akceptowalny czas przywrócenia usługi. RTO wynoszące 30 minut oznacza, że konsumenci i producenci muszą znów działać w ciągu pół godziny.

Te cele determinują koszty. Asynchroniczna replikacja między regionami daje RPO równe opóźnieniu replikacji (zwykle od sekund do minut) przy umiarkowanym koszcie. Osiągnięcie zerowego RPO — przełączenia bez utraty danych — wymaga replikacji synchronicznej, co oznacza karę opóźnienia przy każdym żądaniu produce i infrastrukturę rozłożoną na strefy dostępności z szybkimi łączami. Osiągalny czas odtworzenia zależy mniej od narzędzi, a bardziej od tego, na ile procedura przełączenia jest zautomatyzowana i przećwiczona.

Trzeba uczciwie ocenić każde obciążenie. Klaster obsługujący analitykę clickstreamu może tolerować luźniejszy punkt odtworzenia niż klaster obsługujący transakcje finansowe. Wiele zespołów kończy z wielopoziomowymi planami odtwarzania: rygorystyczne RPO/RTO dla niewielkiego zestawu krytycznych tematów i łagodniejsze cele dla całej reszty.

Architektury disaster recovery dla Kafki

Istnieją cztery powszechnie stosowane wzorce disaster recovery dla Apache Kafka®. Większość wdrożeń produkcyjnych korzysta z jednego z dwóch pierwszych.

Active-passive z MirrorMaker 2

Najczęstsza strategia DR dla Kafki to para active-passive: klaster główny obsługuje cały ruch, a MirrorMaker 2 (MM2), dostarczany razem z Apache Kafka i działający na frameworku Kafka Connect, asynchronicznie replikuje tematy, konfiguracje i offsety konsumentów do klastra zapasowego w innym regionie lub centrum danych.

W normalnej pracy klaster pasywny otrzymuje replikowane dane, ale nie obsługuje klientów. W scenariuszu katastrofy następuje przełączenie: producenci i konsumenci zostają skierowani do klastra zapasowego, który zostaje wypromowany na główny, i praca jest kontynuowana. RPO równa się opóźnieniu replikacji; RTO zależy od tego, jak szybko można przekierować klientów — przy adresach bootstrap opartych na DNS i przećwiczonej automatyzacji mogą to być minuty.

Model active-passive jest popularny, ponieważ jest koncepcyjnie prosty, działa z narzędziami open source i pozwala utrzymywać tani klaster zapasowy (do momentu promocji może być mniejszy). Jego słabości są asymetryczne: powrót do klastra pierwotnego (failback) po ustąpieniu katastrofy jest często trudniejszy niż samo przełączenie, a nieprzetestowana synchronizacja offsetów może po cichu uniemożliwić konsumentom poprawne wznowienie pracy — więcej o tym poniżej.

Kafka w modelu active-active

W topologii active-active dwa (lub więcej) klastry w różnych regionach obsługują jednocześnie ruch produkcyjny i replikują dane do siebie nawzajem, zwykle za pomocą MM2 lub Confluent Cluster Linking. Klienci w każdym regionie produkują i konsumują lokalnie, co zmniejsza opóźnienia między regionami dla rozproszonych geograficznie użytkowników i sprawia, że przełączenie sprowadza się głównie do przekierowania ruchu: jeśli jeden region padnie, drugi już działa.

Ceną jest złożoność. Wieloregionowa Kafka w trybie active-active wymaga starannego nazewnictwa tematów (MM2 poprzedza nazwy replikowanych tematów aliasem klastra źródłowego, aby zapobiec nieskończonym pętlom replikacji), aplikacji tolerujących spójność ostateczną między regionami oraz strategii unikania podwójnego przetwarzania przy przenoszeniu grupy konsumentów. Nie ma globalnej kolejności między regionami. Dla właściwego przypadku użycia — stale dostępnych, rozproszonych geograficznie obciążeń — active-active zapewnia najlepsze możliwe RTO. Dla produktu działającego w jednym regionie jest to zwykle przerost formy nad treścią.

Klastry rozciągnięte

Klaster rozciągnięty (stretch cluster) to pojedyncze wdrożenie Kafki, którego brokery obejmują wiele centrów danych lub stref dostępności i korzystają z replikacji synchronicznej (acks=all z min.insync.replicas egzekwowanym między lokalizacjami), dzięki czemu każdy zapis trafia do co najmniej dwóch lokalizacji, zanim zostanie potwierdzony. Po utracie całej lokalizacji klaster działa dalej — bez zdarzenia przełączenia, bez translacji offsetów, z zerowym RPO.

Haczykiem są fizyka i koszty. Każde żądanie produce płaci opóźnieniem podróży w obie strony między lokalizacjami, więc klastry rozciągnięte są praktyczne tylko między lokalizacjami połączonymi łączami o niskim opóźnieniu (zwykle poniżej ok. 50 ms, najlepiej strefy AZ w obrębie jednego regionu, z projektami 2.5DC/3DC dla rozmieszczenia kworum). Wbrew intuicji klaster rozciągnięty nie zawsze jest droższy od mirroringu — działa jeden klaster zamiast dwóch — ale nie chroni przed katastrofami regionalnymi, gdy wszystkie lokalizacje leżą w jednym regionie, i nigdy nie chroni przed błędem operatora, który natychmiast replikuje się do każdej lokalizacji.

Kopia zapasowa i odtwarzanie z magazynu obiektowego

Replikacja klastrów nie zastępuje kopii zapasowych. Replikacja wiernie kopiuje błędy — usunięty temat lub zatrute dane trafiają do lokalizacji DR w ciągu kilku sekund. Okresowe snapshoty krytycznych tematów w magazynie obiektowym (przez sinki S3 w Kafka Connect lub tiered storage) dają odtwarzanie do punktu w czasie, którego replikacja nie zapewnia, kosztem znacznie wolniejszego odtwarzania. Należy traktować je jako uzupełnienie, a nie zamiennik działającego klastra zapasowego.

Porównanie architektur DR dla Kafki

Architektura Typowe RPO Typowe RTO Koszt względny Złożoność Najlepsze zastosowanie
Aktywno-pasywna (MM2) Od sekund do minut (opóźnienie asynchroniczne) Od minut do godzin $$ Umiarkowana Większość obciążeń korporacyjnych
Aktywno-aktywna Sekundy (dla każdego regionu) Od sekund do minut $$$ Wysoka Systemy rozproszone geograficznie, stale dostępne
Klaster rozciągnięty Zero Bliski zera (automatycznie) $$–$$$ Od umiarkowanej do wysokiej Lokalizacje o niskim opóźnieniu, wymóg zerowej utraty danych
Kopia zapasowa/odtwarzanie Godziny (interwał snapshotów) Godziny $ Niska Zgodność z przepisami, naprawa błędów operatora

Kafka działa na produkcji bez przećwiczonego planu przełączenia awaryjnego? Starsi inżynierowie AceMQ projektują, wdrażają i sprawdzają w boju disaster recovery dla Kafki — a gdy coś się zepsuje o 3 w nocy, nasz zespół wsparcia 24/7 pracuje w ramach docelowych czasów reakcji od 15 minut, zależnie od planu. Porozmawiaj z inżynierem Kafka.

Problem translacji offsetów (czyli gdzie plany DR naprawdę zawodzą)

Najsubtelniejszym trybem awarii w disaster recovery dla Kafki nie jest utrata danych, lecz wznowienie pracy konsumentów w niewłaściwym miejscu. Offsety są specyficzne dla klastra: offset 1 000 000 w klastrze głównym nie jest offsetem 1 000 000 w klastrze docelowym, ponieważ replikacja startuje w innym momencie, retencja usuwa inne zakresy, a kompakcja przepisuje logi w inny sposób.

MirrorMaker 2 rozwiązuje to za pomocą checkpointów: MirrorCheckpointConnector okresowo przesyła do klastra docelowego przetłumaczone offsety grup konsumentów, a od Kafki 2.7 potrafi synchronizować je bezpośrednio do tematu __consumer_offsets w klastrze docelowym. Istnieją jednak pułapki, które dają o sobie znać podczas prawdziwych przełączeń:

  • Ziarnistość checkpointów. Synchronizacja offsetów jest okresowa (domyślnie co 60 sekund). Konsument po przełączeniu trafia do ostatniego checkpointu, a nie do ostatniego skonsumowanego rekordu — należy spodziewać się ponownego przetwarzania i zadbać o idempotentność konsumentów.
  • Translacja opóźnia się względem replikacji. MM2 może przetłumaczyć offset dopiero wtedy, gdy odpowiadający mu rekord zostanie zreplikowany. Jeśli opóźnienie replikacji gwałtownie rośnie podczas awarii, która wywołuje przełączenie, przetłumaczone offsety zostają jeszcze bardziej w tyle.
  • Synchronizacja wymaga nieaktywnych grup. MM2 nie nadpisze offsetów grup konsumentów aktywnie połączonych z klastrem docelowym, co zaskakuje zespoły testujące przełączenie z działającymi konsumentami po obu stronach.
  • Ulica jednokierunkowa. Checkpointy płyną od źródła do celu. Powrót do pierwotnego klastra głównego po udanym odtworzeniu wymaga replikacji w odwrotnym kierunku i osobnej translacji offsetów — failback trzeba jawnie zaplanować i przetestować.
  • Procesory strumieni mają dodatkowy stan. Zadania Kafka Streams i Apache Flink utrzymują stan wewnętrzny (tematy changelog, checkpointy/savepointy Flinka), który musi zostać odtworzony spójnie, a nie tylko dane tematów.

Jeśli nie potrafią Państwo dokładnie wskazać, od którego miejsca każda grupa konsumentów wznowi pracę po przełączeniu, to nie mają Państwo jeszcze planu disaster recovery — mają Państwo potok replikacji.

Budowa i testowanie planu disaster recovery dla Kafki

Wykonalny plan disaster recovery dla środowiska Kafka obejmuje pięć elementów:

  1. Zakres i cele. Które tematy, które grupy konsumentów, jakie RPO/RTO dla każdego poziomu — zatwierdzone przez biznes, a nie tylko przez zespół platformowy.
  2. Konfiguracja replikacji. Jak skonfigurowano MM2 lub replikację wybranej usługi Kafka: filtry tematów, interwały synchronizacji offsetów, replikację ACL i schematów (nie wolno zapomnieć o Schema Registry — konsumenci w lokalizacji DR potrzebują schematów) oraz monitoring opóźnienia replikacji z progami alertów powiązanymi z RPO.
  3. Runbook przełączenia awaryjnego. Precyzyjne, wykonywalne procedury odtwarzania: kto podejmuje decyzję, jak przekierowuje się klientów (DNS, service discovery, wypchnięcie konfiguracji), jak weryfikuje się offsety i jak potwierdza się udane odtworzenie.
  4. Runbook powrotu (failback). Jak zreplikowane zmiany wracają do klastra pierwotnego i jak przywrócić stan ustalony bez utraty danych i bez lawiny duplikatów.
  5. Harmonogram testów. Co najmniej kwartalne game days. Należy symulować awarie brokerów, wyłączyć strefę dostępności, a następnie przećwiczyć pełne przełączenie regionalne w środowisku stagingowym z ruchem o profilu produkcyjnym. Trzeba mierzyć faktycznie osiągnięte RTO i aktualizować dokumentację za każdym razem, gdy rzeczywistość rozmija się z planem.

Nieprzetestowany DR zawodzi. Każdy doświadczony operator Kafki widział potok mirroringu, który przez rok działał bezgłośnie, po cichu pomijając temat z powodu błędnie skonfigurowanego filtra — co wyszło na jaw dopiero podczas prawdziwej awarii.

Zarządzana Kafka i disaster recovery w chmurze

Platformy zarządzane zmieniają mechanikę, ale nie odpowiedzialność. W AWS MSK Replicator zapewnia zarządzaną replikację między regionami dla MSK, a MirrorMaker 2 pozostaje narzędziem pierwszego wyboru w topologiach hybrydowych i wielokontowych. Confluent oferuje Cluster Linking, który replikuje dane do klastra Confluent Cloud z zachowaniem offsetów bajt w bajt — co eliminuje problem translacji offsetów — a opcje wieloregionowe Confluent Cloud mogą zautomatyzować dużą część procesu przełączenia. To naprawdę przydatne możliwości, ale każda z nich nadal wymaga od Państwa zdefiniowania RPO/RTO, zorganizowania przekierowania klientów i przećwiczenia runbooka. Zarządzana replikacja to nie zarządzane odtwarzanie.

Jeśli za tym artykułem stoi pytanie o architekturę, a nie bieżący incydent — strategia partycjonowania, wymiarowanie, projekt zabezpieczeń, migracja — w ramach doradztwa Kafka AceMQ zajmie się tym przypisany starszy inżynier.

To ósmy z dziesięciu kroków przewodnika po eksploatacji Kafki, który omawia decyzje operacyjne w kolejności, w jakiej pojawiają się w środowisku produkcyjnym.

Najczęściej zadawane pytania

Jaka strategia disaster recovery jest najczęściej stosowana dla klastrów Kafka?

Najczęstsze podejście to replikacja klastrów w modelu active-passive z użyciem MirrorMaker 2: asynchroniczne lustrzane kopiowanie tematów i offsetów konsumentów do klastra zapasowego w innym regionie, połączone z przećwiczoną procedurą przełączania klientów. Dla większości obciążeń zapewnia ono rozsądną równowagę kosztów, prostoty oraz solidnych wartości RPO/RTO.

Czy disaster recovery w Apache Kafka może zapewnić zerową utratę danych?

Tak, ale wyłącznie przy replikacji synchronicznej — w klastrze rozciągniętym na kilka stref dostępności z acks=all i odpowiednio ustawionym min.insync.replicas albo przy funkcji platformy zapewniającej synchroniczne zapisy między lokalizacjami. Narzędzia asynchroniczne, takie jak Kafka MirrorMaker 2, zawsze mają RPO równe opóźnieniu replikacji, więc samo asynchroniczne kopiowanie nie gwarantuje przełączenia bez utraty danych.

Jak często należy testować plan disaster recovery dla Kafki?

Co najmniej raz na kwartał oraz po każdej istotnej zmianie we wdrożeniu Kafki (aktualizacje wersji, nowe krytyczne tematy, zmiany topologii). Pełny test obejmuje przełączenie regionalne w środowisku stagingowym, sprawdzenie, od którego miejsca wznawia pracę każda krytyczna grupa konsumentów, oraz zmierzenie RTO i porównanie go z wartością docelową.

Czy klastry rozciągnięte nie są droższe od mirroringu?

Niekoniecznie. Klaster rozciągnięty to jeden klaster rozłożony na kilka lokalizacji, podczas gdy mirroring wymaga uruchomienia i utrzymywania dwóch kompletnych klastrów oraz warstwy replikacji. Klastry rozciągnięte kosztują więcej pod względem opóźnień i sieci oraz wymagają łączy wysokiej jakości, ale mogą być tańsze w sprzęcie i eksploatacji. Rzeczywiste ograniczenia to budżet opóźnień oraz to, że klaster rozciągnięty w obrębie jednego regionu nie przetrwa utraty całego regionu.

Czym jest MirrorMaker 2 i jak działa?

MirrorMaker 2 to narzędzie do replikacji między klastrami dostarczane z Apache Kafka, zdefiniowane w KIP-382 i zbudowane na frameworku Kafka Connect. Konsumuje dane z klastra źródłowego i produkuje je do klastra docelowego, replikując topiki, konfiguracje topiców, grupy konsumentów wraz z ich offsetami oraz listy ACL. Domyślnie replikowany topic otrzymuje nową nazwę z aliasem klastra źródłowego jako prefiksem, więc topic orders z klastra o nazwie us-west staje się w klastrze docelowym topikiem us-west.orders. Właśnie ten schemat nazewnictwa umożliwia konfiguracje active-active bez pętli replikacji i z tego samego powodu runbooki przełączania awaryjnego muszą kierować konsumentów na topiki o zmienionych nazwach.

Co dzieje się z offsetami konsumentów podczas przełączenia awaryjnego?

W MirrorMaker 2 checkpointy cyklicznie tłumaczą offsety grup konsumentów z klastra źródłowego na docelowy. Po przełączeniu konsumenci wznawiają pracę od ostatniego przetłumaczonego checkpointu — zwykle nieco za swoją rzeczywistą pozycją — więc część rekordów jest przetwarzana ponownie. Konsumenci powinni być idempotentni, a interwały synchronizacji offsetów powinny być krótsze niż Państwa RPO. Confluent Cluster Linking całkowicie eliminuje translację, zachowując offsety bajt w bajt. --- Disaster recovery w Apache Kafka to strategia odporności, a nie produkt do zainstalowania: należy wybrać architekturę odpowiadającą Państwa RPO i RTO, replikować dane narzędziami, które Państwo rozumieją, drobiazgowo pilnować zachowania offsetów i testować tak długo, aż przełączenie stanie się nudną rutyną. Nie warto czekać, aż luki ujawni awaria. AceMQ zapewnia wsparcie techniczne 24/7 dla open source'owej Kafki z dyżurującymi starszymi inżynierami i docelowymi czasami reakcji od 15 minut, zależnie od planu — od przeglądów architektury DR po zespół, który wzywają Państwo, gdy cały region przestaje działać. Poznaj usługi AceMQ dla Kafki lub zapewnij sobie wsparcie 24/7.

Scott Sternloff

Autor

Scott SternloffStarszy architekt korporacyjny

Starszy architekt korporacyjny w AceMQ. Odpowiada za treści techniczne: architekturę RabbitMQ, Kafka i Redis, klastrowanie i migracje.

Poradniki, porównania i analizy

Więcej na temat: Kafka

Bezpłatna konsultacja

Niech eksperci przyjrzą się Państwa klastrowi Kafka

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas