Powrót do wszystkich studiów przypadków

DoradztwoUsługi finansowe / płatności

Zgodny z Kafką to nie to samo co identyczny – klientów trzeba przetestować przed przełączeniem

Globalny operator płatności

Migracja z Kafki do Redpanda z testami zgodności klientów, przeniesieniem ACL i rejestru schematów oraz etapowym przełączaniem topik po topiku.

Przegląd

Redpanda obsługuje protokół Kafka bez ZooKeeper i bez JVM, co zdejmuje znaczne obciążenie operacyjne. Migracja jest zwykle prosta, ale jej mniej oczywiste elementy – starsze biblioteki klienckie, narzędzia administracyjne i założenia specyficzne dla Kafki w istniejącym kodzie – warto wykryć w środowisku testowym, a nie na produkcji.

Wyzwanie

Każdy producent i konsument w środowisku to osobna kwestia zgodności. Starsze wersje bibliotek klienckich inaczej negocjują funkcje protokołu, narzędzia administracyjne mogą zależeć od metryk JMX lub ścieżek ZooKeeper, które przestają istnieć, a workery Kafka Connect, aplikacje Streams i agenty monitoringu mają własne oczekiwania. Konfiguracja po stronie brokera nie przekłada się jeden do jednego, a offsety grup konsumentów trzeba przenieść tak, aby żaden komunikat nie został przetworzony ponownie ani pominięty.

Środowisko

Klastry Apache Kafka na Kubernetes lub maszynach wirtualnych z klientami w różnych językach i wersjach, Schema Registry, Kafka Connect i istniejącymi ACL, migrowane do Redpanda.

Podejście

AceMQ inwentaryzuje każdego klienta według biblioteki i wersji, a następnie testuje każdego z nich na klastrze Redpanda w środowisku testowym obejmującym funkcje protokołu, z których faktycznie korzysta – transakcje, idempotentną produkcję, protokół grup konsumentów i operacje administracyjne. Topiki migrują falami za pomocą MirrorMaker lub narzędzi migracyjnych Redpanda z translacją offsetów, z równoległą konsumpcją aż do zweryfikowania każdego konsumenta.

Rozwiązanie

  1. Inwentaryzacja klientów według języka, biblioteki i wersji wraz z macierzą testów zgodności dla każdej używanej funkcji protokołu
  2. Weryfikacja w środowisku testowym transakcji, idempotentnej produkcji, rebalansowania grup konsumentów i wywołań API administracyjnego na Redpanda
  3. Przełożenie konfiguracji brokera, w tym ustawień partycji, retencji i kompakcji, które nie mają bezpośrednich odpowiedników
  4. Migracja ACL i Schema Registry z weryfikacją mechanizmu uwierzytelniania dla każdego klienta
  5. Replikacja topik po topiku z translacją offsetów grup konsumentów i weryfikacją przez równoległą konsumpcję przed przełączeniem
  6. Przebudowa monitoringu i alertów na metryki Redpanda w miejsce dashboardów Kafki opartych na JMX

Efekt

Klienci przełączają się topik po topiku, ze zgodnością klientów zweryfikowaną z wyprzedzeniem, i rezygnują z warstwy operacyjnej ZooKeeper lub KRaft wraz z towarzyszącym jej strojeniem JVM. Problemy ze zgodnością ujawniają się w środowisku testowym, a nie w trakcie przełączania produkcji.

Technologie

RedpandaApache KafkaKubernetesApache Flink

Potrzebują Państwo doradztwa w zakresie architektury Redpanda?

Starsi inżynierowie Redpanda w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.