Przegląd
Redpanda obsługuje protokół Kafka bez ZooKeeper i bez JVM, co zdejmuje znaczne obciążenie operacyjne. Migracja jest zwykle prosta, ale jej mniej oczywiste elementy – starsze biblioteki klienckie, narzędzia administracyjne i założenia specyficzne dla Kafki w istniejącym kodzie – warto wykryć w środowisku testowym, a nie na produkcji.
Wyzwanie
Każdy producent i konsument w środowisku to osobna kwestia zgodności. Starsze wersje bibliotek klienckich inaczej negocjują funkcje protokołu, narzędzia administracyjne mogą zależeć od metryk JMX lub ścieżek ZooKeeper, które przestają istnieć, a workery Kafka Connect, aplikacje Streams i agenty monitoringu mają własne oczekiwania. Konfiguracja po stronie brokera nie przekłada się jeden do jednego, a offsety grup konsumentów trzeba przenieść tak, aby żaden komunikat nie został przetworzony ponownie ani pominięty.
Środowisko
Klastry Apache Kafka na Kubernetes lub maszynach wirtualnych z klientami w różnych językach i wersjach, Schema Registry, Kafka Connect i istniejącymi ACL, migrowane do Redpanda.
Podejście
AceMQ inwentaryzuje każdego klienta według biblioteki i wersji, a następnie testuje każdego z nich na klastrze Redpanda w środowisku testowym obejmującym funkcje protokołu, z których faktycznie korzysta – transakcje, idempotentną produkcję, protokół grup konsumentów i operacje administracyjne. Topiki migrują falami za pomocą MirrorMaker lub narzędzi migracyjnych Redpanda z translacją offsetów, z równoległą konsumpcją aż do zweryfikowania każdego konsumenta.
Rozwiązanie
- Inwentaryzacja klientów według języka, biblioteki i wersji wraz z macierzą testów zgodności dla każdej używanej funkcji protokołu
- Weryfikacja w środowisku testowym transakcji, idempotentnej produkcji, rebalansowania grup konsumentów i wywołań API administracyjnego na Redpanda
- Przełożenie konfiguracji brokera, w tym ustawień partycji, retencji i kompakcji, które nie mają bezpośrednich odpowiedników
- Migracja ACL i Schema Registry z weryfikacją mechanizmu uwierzytelniania dla każdego klienta
- Replikacja topik po topiku z translacją offsetów grup konsumentów i weryfikacją przez równoległą konsumpcję przed przełączeniem
- Przebudowa monitoringu i alertów na metryki Redpanda w miejsce dashboardów Kafki opartych na JMX
Efekt
Klienci przełączają się topik po topiku, ze zgodnością klientów zweryfikowaną z wyprzedzeniem, i rezygnują z warstwy operacyjnej ZooKeeper lub KRaft wraz z towarzyszącym jej strojeniem JVM. Problemy ze zgodnością ujawniają się w środowisku testowym, a nie w trakcie przełączania produkcji.