BlogKafka

Kafka czy Pulsar: architektura, utrzymanie i co wybrać

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja: · 16 min czytania

Kafka czy Pulsar: architektura, utrzymanie i co wybrać
On this page

Wybór między Kafką a Pulsarem sprowadza się do jednej decyzji architektonicznej. Brokery Kafka odpowiadają zarówno za obsługę ruchu, jak i za przechowywanie danych hostowanych przez siebie partycji. Pulsar je rozdziela — bezstanowe brokery obsługują ruch, a Apache BookKeeper przechowuje dane jako podzielone na segmenty ledgery. Wszystko inne, od wielodzierżawności po zachowanie przy skalowaniu, wynika z tego podziału.

Obie platformy są dojrzałe i obie działają na produkcji w poważnej skali. Żadna nie wygrywa porównania Kafka vs Pulsar bezdyskusyjnie, a artykuł, który ogłasza zwycięzcę, zwykle pisze ktoś, kto sprzedaje tę drugą.

Obie platformy są wymagające w utrzymaniu. AceMQ zapewnia wsparcie techniczne Kafka 24/7 oraz wsparcie techniczne Apache Pulsar, w tym BookKeeper i ZooKeeper, z docelowymi czasami reakcji od 15 minut, zależnie od planu.

Kafka vs Pulsar: podział architektury

Model przechowywania w Kafka to partycjonowany, replikowany log zapisywany na lokalnym dysku brokera. Każda partycja ma brokera-lidera i repliki followerów, a każdy z nich trzyma pełną partycję na własnym wolumenie. Obsługa ruchu i przechowywanie danych to z założenia ta sama maszyna — i właśnie to sprawia, że Kafka jest szybka, a rebalancing kosztowny.

Model Pulsara jest warstwowy. Dokumentacja opisuje brokery jako „komponent bezstanowy” — nie są właścicielami żadnych danych. Dane przechowuje Apache BookKeeper, „rozproszony system dziennika zapisu z wyprzedzeniem (WAL)”, w którym dane topiku są zapisywane jako seria ledgerów. Ledger to „struktura danych typu append-only z jednym zapisującym, przypisana do wielu węzłów pamięci masowej BookKeeper, czyli bookie”, a „managed ledger” to warstwa przechowywania pojedynczego topiku, która łączy te ledgery w całość.

Z tego podziału wynikają trzy konsekwencje, które odpowiadają za większość tego, co zauważają zespoły uruchamiające Kafkę i Pulsara obok siebie:

  • Awaria brokera w Pulsarze jest tania. Broker nie ma danych, więc własność topiku przechodzi na innego brokera bez kopiowania czegokolwiek. W Kafka utrata brokera oznacza wybór lidera, a jeśli broker nie wróci ze swoim dyskiem — pełną odbudowę repliki przez sieć.
  • Partycje Kafki są ograniczone do jednej maszyny. Partycja musi zmieścić się na dyskach każdego brokera, który trzyma jej replikę. Segmenty Pulsara są rozłożone na wiele bookie, więc topik nie jest ograniczony pojemnością żadnego pojedynczego węzła.
  • Kafka skaluje się bardziej przewidywalnie. Jeden typ komponentu, jeden tryb awarii do przeanalizowania, jeden zestaw metryk. Niezależność mocy obliczeniowej i pamięci masowej w Pulsarze jest realna — podobnie jak dodatkowa powierzchnia, którą tworzy.

Tiered storage w Kafka znacznie łagodzi pierwsze ograniczenie — więcej o tym poniżej — ale zasadnicza różnica w tym, czym jest broker, nie znika.

Która platforma jest łatwiejsza w codziennym utrzymaniu?

W tym punkcie większość opublikowanych porównań Kafka vs Pulsar jest nieaktualna, bo oba projekty niedawno zmieniły odpowiedź. To także sekcja, którą warto ponownie sprawdzić z informacjami o wydaniach, zanim podejmie się jakiekolwiek zobowiązanie.

Kafka usunęła ZooKeepera. Apache Kafka 4.0, wydana w marcu 2025 roku, to pierwsze główne wydanie działające bez niego: wyłącznie w trybie KRaft, z kontrolerami jako procesami Kafki, a nie osobnym zespołem węzłów. Pulsar z kolei obsługuje obecnie wiele backendów metadanych i rekomenduje Oxia, przy czym ZooKeeper jest nadal wspierany i gotowy do zastosowań produkcyjnych. Stare twierdzenie — „Pulsar potrzebuje ZooKeepera, Kafka nie” — jest więc dziś błędne w obu częściach.

Prawdziwa pozostaje liczba komponentów.

Apache KafkaApache Pulsar
Warstwa obsługi ruchuBrokery (właściciele danych swoich partycji)Brokery (bezstanowe)
Warstwa przechowywaniaTe same brokery, lokalne katalogi logówBookie BookKeeper, ledgery podzielone na segmenty
Metadane / koordynacjaKontrolery KRaft (ZooKeeper usunięty w 4.0)Magazyn metadanych — rekomendowany Oxia, wspierany ZooKeeper — oraz magazyn konfiguracji dla stanu całej instancji
Odrębne procesy do uruchomienia2 role (broker, kontroler)3+ (broker, bookie, magazyn metadanych)
Domena awarii do przeanalizowaniaPrzywództwo partycji i ISRWłasność brokerów, rozmieszczenie ledgerów, zespoły bookie (ensembles)
Skalowanie pamięci masowejDodanie brokerów lub tiered storageDodanie bookie niezależnie od brokerów

Trzy typy procesów zamiast dwóch to nie dyskwalifikacja, ale też nie nic. Bookie mają własne planowanie pojemności, własny układ dysków dla journala i ledgerów oraz własne zachowanie przy awariach, a osób, które debugowały zespół bookie BookKeeper o 3 w nocy, jest znacznie mniej niż tych, które debugowały brokera Kafka.

Po stronie Kafki ból operacyjny skupia się w konkretnym miejscu: rebalancingu grup konsumentów. Jeśli nie mieli Państwo jeszcze z nim do czynienia, opisujemy go w artykułach co wywołuje rebalancing w Kafka oraz diagnozowanie opóźnienia konsumentów Kafka. Kafka 4.0 udostępniła też ogólnie nowy protokół rebalancingu konsumentów (KIP-848), domyślnie włączony po stronie serwera, przy czym konsumenci włączają go przez group.protocol=consumer. Usuwa on globalną barierę typu stop-the-world, która wyrządzała większość szkód.

Jeśli którakolwiek z platform działa na Kubernetes, warto pamiętać, że podział warstwy przechowywania znacząco zmienia kształt wdrożenia — stronę Kafki opisujemy w artykule uruchamianie Kafki na EKS, AKS i GKE.

Czym różni się wielodzierżawność w Kafka i w Pulsarze?

To najwyraźniejsza strukturalna przewaga Pulsara i nie ma tu wyrównanej walki.

Pulsar od początku budowano jako platformę wielodzierżawną. Najemca (tenant) to jednostka administracyjna służąca do przydzielania pojemności i egzekwowania uwierzytelniania lub autoryzacji, najemca zawiera przestrzenie nazw, a topiki adresuje się jako persistent://tenant/namespace/topic. Polityki istotne operacyjnie — retencja, limity pamięci masowej — obowiązują na poziomie przestrzeni nazw, więc niekontrolowaną retencję jednego zespołu ogranicza konfiguracja, a nie rozmowa.

Kafka ma uwierzytelnianie, ACL-e i limity klientów, a dzięki konwencji nazewnictwa topików i zdyscyplinowanym ACL-om można zajść daleko. Nie ma jednak hierarchii najemców. Izolację trzeba egzekwować samodzielnie; w Pulsarze dostaje się ją w standardzie.

Przy budowie platformy, w której każdy klient lub każdy zespół wewnętrzny dostaje własny wycinek, ta różnica narasta z każdym kwartałem. Przy jednym potoku dla jednego zespołu nie ma żadnego znaczenia.

Jak wypada porównanie georeplikacji i tiered storage?

Georeplikacja. Pulsar ma ją w standardzie. Replikację konfiguruje się dla każdej przestrzeni nazw i obsługuje ona topologie full-mesh, active-active oraz agregacji. Domyślnie jest asynchroniczna — komunikaty są utrwalane w lokalnym klastrze, a następnie replikowane przez brokery — a replikacja synchroniczna jest dostępna przez BookKeeper rozciągnięty między centrami danych, kosztem opóźnień. Za koordynację stanu całej instancji, dzięki któremu to działa, odpowiada osobne kworum magazynu konfiguracji.

Kafka replikuje dane między klastrami za pomocą MirrorMaker 2 lub odpowiednika dostawcy, takiego jak Cluster Linking od Confluent. To działa i jest szeroko stosowane, ale jest też osobnym systemem do wdrożenia, monitorowania i analizowania — łącznie z translacją offsetów, która jest źródłem większości niespodzianek przy przełączaniu konsumentów między klastrami.

Tiered storage. Mają go obie platformy i w obu jest gotowy do zastosowań produkcyjnych.

  • Implementacja w Kafka (KIP-405) osiągnęła gotowość produkcyjną w wersji 3.9 — starsze segmenty logu trafiają do wymiennego magazynu zewnętrznego, a brokery przechowują najnowsze dane lokalnie.
  • Pulsar przenosi zamknięte segmenty tylko do odczytu do Amazon S3, Google Cloud Storage, Azure Blob Storage, Alibaba Cloud OSS lub systemu plików. Przenoszenie może wyzwolić rozmiar zaległości (backlog), wiek komunikatów, ręczne polecenie administracyjne lub polityka na poziomie przestrzeni nazw, a odbywa się asynchronicznie w tle.

Wersja Pulsara jest dojrzalsza po prostu dlatego, że pojawiła się wiele lat wcześniej, a przechowywanie oparte na segmentach naturalnie jej sprzyjało. Kafka zniwelowała większość praktycznej różnicy. Przy nowym wdrożeniu w 2026 roku tiered storage nie jest już czynnikiem rozstrzygającym w wyborze Kafka vs Pulsar, jakim był w 2022 roku.

A co z kolejkowaniem i potwierdzaniem pojedynczych komunikatów?

Historycznie była to najbardziej rzeczywista różnica możliwości między Kafką a Pulsarem — i to ona zniknęła najpóźniej.

Pulsar oferuje cztery typy subskrypcji: exclusive (domyślny, jeden konsument), failover (główny konsument z zapasowymi), shared (round-robin między konsumentami, każdy komunikat trafia do dokładnie jednego) oraz key_shared (komunikaty z tym samym kluczem zawsze trafiają do tego samego konsumenta). Obsługuje potwierdzenia pojedyncze i skumulowane, potwierdzenia negatywne, topiki retry letter i dead letter oraz deduplikację komunikatów po stronie serwera. Ten zestaw pokrywa wzorce kolejek zadań, których klasyczna grupa konsumentów Kafka nie potrafi wyrazić, ponieważ partycja Kafki jest przypisana do dokładnie jednego konsumenta w grupie.

Kafka odpowiedziała mechanizmem share groups (KIP-932). Trafiły do wczesnego dostępu w 4.0, do wersji preview w 4.1 i osiągnęły gotowość produkcyjną w Apache Kafka 4.2. Konsumenci w share group konsumują kooperacyjnie bez przypinania partycji do jednego konsumenta, z potwierdzaniem pojedynczych rekordów i zliczaniem prób dostarczenia. To znacznie bliższe subskrypcji shared w Pulsarze i eliminuje coś, co kiedyś było realnym powodem wyboru Pulsara dla obciążeń o charakterze kolejek.

Jeśli ocena opiera się na porównaniu napisanym przed 2026 rokiem, tę sekcję warto zweryfikować z aktualnymi informacjami o wydaniach — to najszybciej zmieniająca się część całego porównania.

Która platforma ma większy ekosystem i rynek specjalistów?

Kafka, z dużą przewagą — i nie ma powodu, by to łagodzić.

Kafka Connect ma setki konektorów. Kafka Streams i ksqlDB są szeroko stosowane. Każdy liczący się procesor strumieni — Flink, Spark i pozostałe — traktuje Kafkę jako pełnoprawne źródło i ujście danych. Każdy dostawca narzędzi do obserwowalności oferuje dashboardy dla Kafki. Każda chmura oferuje zarządzaną Kafkę lub endpoint zgodny z Kafką. I, co najważniejsze, można zatrudnić ludzi, którzy prowadzili Kafkę na produkcji.

Pulsar ma realne odpowiedniki: konektory Pulsar IO, Pulsar Functions do lekkiego przetwarzania i Pulsar SQL do odpytywania topików. Katalog jest mniejszy, integracji z rozwiązaniami firm trzecich jest mniej, a wiedza operacyjna skupia się w węższym gronie ludzi i mniejszej liczbie dostawców.

Przy decyzji architektonicznej ma to większe znaczenie, niż przyznaje większość opracowań Kafka vs Pulsar. Koszt nieznanej platformy nie jest ponoszony w momencie wyboru. Płaci się go o 3 w nocy, półtora roku później, i płaci go ten, kto akurat ma dyżur.

Kafka czy Pulsar: co wybrać?

  • Kafkę warto wybrać, gdy zależy Państwu na największym ekosystemie i rynku specjalistów, gdy obciążenie to prosty potok o wysokiej przepustowości, gdy chcą Państwo utrzymywać jak najmniej typów procesów albo gdy potrzebna jest usługa zarządzana w dowolnej chmurze bez umowy z firmą trzecią.
  • Pulsara warto wybrać, gdy wielodzierżawność jest wymaganiem produktowym, a nie miłym dodatkiem, gdy potrzebna jest wbudowana georeplikacja na poziomie przestrzeni nazw między kilkoma regionami, gdy pamięć masowa i moc obliczeniowa naprawdę muszą skalować się niezależnie albo gdy dane pojedynczego topiku nie zmieściłyby się swobodnie na dyskach jednego brokera.
  • Nie warto migrować dla elegancji. Architektura Pulsara jest czystsza w sposób, który łatwo podziwiać na tablicy. Jeśli nie da się wskazać konkretnego ograniczenia, które znosi dla Państwa obciążenia, migracja będzie kosztować narzędzia, ponowne szkolenia i wiedzę organizacyjną w zamian za diagram, który bardziej się podoba.

Uczciwe podsumowanie: to nie jest sytuacja, w której jeden system zostaje w tyle. Różnice, które kiedyś czyniły wybór między Kafką a Pulsarem oczywistym w jedną lub drugą stronę — ZooKeeper, tiered storage, semantyka kolejek — od 2024 roku wyraźnie się zmniejszyły. Pozostaje rzeczywiste pytanie architektoniczne, czy obsługa ruchu i przechowywanie danych muszą skalować się oddzielnie, oraz rzeczywiste pytanie organizacyjne, którą platformę zespół faktycznie jest w stanie utrzymywać.

Czy Kafka dogoniła Pulsara w wielodzierżawności i tiered storage?

W przechowywaniu danych — w większości tak. W wielodzierżawności — nie.

Tiered storage w Kafka przenosi zamknięte segmenty logu z dysku lokalnego do magazynu obiektowego, a broker pozostaje jedynym elementem, z którym komunikuje się klient. Konsumenci czytający najnowsze offsety trafiają w lokalny gorący zbiór danych; konsumenci czytający starsze offsety wywołują zdalne pobranie, które broker przesyła z powrotem przez to samo API fetch. Retencja lokalna staje się decyzją o rozmiarze cache, a nie o pojemności, a partycja może przechowywać miesiące historii bez miesięcy dysku. To, jak współdziałają ustawienia retencji lokalnej i zdalnej, opisujemy w przewodniku po polityce retencji w Kafka.

Pulsar doszedł do tego wiele lat wcześniej dzięki mechanizmom offloadu BookKeeper i zachowuje dwie realne przewagi: offload jest polityką przestrzeni nazw, a nie ustawieniem dla każdego topiku, a ponieważ bookie od zawsze były warstwą przechowywania, dysk brokera nigdy nie wchodził w grę. Implementacja w Kafka wciąż ma swoje ograniczenia. Topików kompaktowanych nie można przenosić do warstwy zdalnej, zimne odczyty nadrabiające zaległości płacą opóźnieniem zdalnego pobrania, a wtyczkę magazynu zdalnego trzeba samodzielnie wybrać i utrzymywać. Przy długiej retencji zwykłego strumienia zdarzeń obie platformy są na tyle zbliżone, że przechowywanie nie powinno przesądzać o wyborze.

Z wielodzierżawnością jest inaczej. W Pulsarze najemca jest właścicielem przestrzeni nazw, przestrzeń nazw jest właścicielem topików, a limity, retencja, offload, replikacja i uprawnienia są przypisane do przestrzeni nazw. Kafka osiąga większość tego dzięki konwencjom: prefiksowi topików dla każdego zespołu, ACL-om z prefiksem dla tego wzorca, limitom dla każdego principala i osobnemu klastrowi, gdy jeden zespół jest na tyle hałaśliwy, że szkodzi innym. To jednak dyscyplina nałożona na płaską przestrzeń nazw, a nie model egzekwowany przez brokera. Literówka w ACL może otworzyć prefiks niewłaściwemu zespołowi i nic nie zbiera ustawień zespołu w jeden obiekt, który można by przejrzeć.

Nasz werdykt: Kafka zniwelowała różnicę w przechowywaniu i większość różnicy operacyjnej. Pulsar wciąż ma czystszy model wielodzierżawności, a ceną jest BookKeeper wraz z magazynem metadanych działający jako drugi system stanowy obok brokerów.

Z naszych projektów wynika, że pełnoprawnej wielodzierżawności potrzebuje znacznie mniej organizacji, niż o nią pyta. Ma ona znaczenie, gdy jeden zespół platformowy obsługuje dziesiątki zespołów aplikacyjnych z twardą izolacją, rozliczaniem kosztów (chargeback) i samoobsługowym provisioningiem. Nie ma znaczenia w firmie z trzema czy czterema zespołami produkującymi dane w tym samym grafiku dyżurów — a tak wygląda większość przedsiębiorstw, z którymi pracujemy.

BookKeeper a log Kafki: dlaczego warstwa przechowywania decyduje o utrzymaniu

Niemal każda różnica operacyjna między tymi platformami sprowadza się do tego, gdzie leżą bajty.

Broker Kafka jest właścicielem swoich partycji: segmenty logu na jego lokalnym dysku, repliki na lokalnych dyskach innych brokerów, kontrolery KRaft śledzące, kto czemu przewodzi. Pojemność pamięci masowej to pojemność brokera. Gdy dysk się zapełnia albo broker jest przeciążony, rozwiązaniem jest ponowne przypisanie partycji, które kopiuje dane replik przez sieć i czeka, aż nadrobią zaległości. Jest ono dławione, konkuruje z ruchem produkcyjnym i przy dużej partycji trwa godzinami. Właściwy dobór liczby partycji i rozkładu kluczy od samego początku, o czym piszemy w artykule strategia partycjonowania w Kafka, służy w dużej mierze temu, by tego później uniknąć.

Brokery Pulsara nie przechowują danych. Topik to managed ledger, każdy ledger jest rozłożony (striping) na zespół bookie, a nowy bookie jest po prostu uwzględniany w kolejnym ledgerze. Skalowanie pamięci masowej to dodawanie bookie: nic się nie przenosi, nie ma rebalancingu, a awaria brokera to zmiana własności liczona w sekundach, a nie nadrabianie replik.

Rachunek to drugi system stanowy z własnym słownictwem. Każdy ledger ma rozmiar zespołu (ensemble size), kworum zapisu (write quorum) i kworum potwierdzeń (ack quorum), a relacja między tymi trzema wartościami wyznacza zarówno trwałość danych, jak i liczbę bookie, które można stracić. Gdy bookie ulega awarii, mechanizm autorecovery musi wykryć ledgery z niepełną replikacją i zreplikować je ponownie; źle skonfigurowany lub wyłączony — co znajdowaliśmy w przejmowanych klastrach — sprawia, że klaster po cichu działa z mniejszą redundancją, niż ktokolwiek sądzi. Odzyskiwanie ledgera przy przełączeniu musi odciąć (fencing) poprzedniego właściciela i ustalić ostatni wpis, zanim nowy broker zacznie obsługiwać odczyty.

Ścieżki zapisu mają różny kształt. Zapis w Kafka trafia do page cache lidera, rozchodzi się do followerów i jest potwierdzany, gdy mają go repliki zsynchronizowane: jeden przeskok od klienta, a trwałość wyznaczają acks i min.insync.replicas. Zapis w Pulsarze trafia do brokera, który zapisuje go równolegle do zespołu bookie; każdy bookie wykonuje fsync wpisu w journalu przed zapisem do ledgera, a broker potwierdza zapis po osiągnięciu ack quorum. Dwa przeskoki i fsync na gorącej ścieżce to powód, dla którego opóźnienie zapisu p99 w Pulsarze jest wyższe niż w Kafka przy tej samej trwałości.

Wykrywanie awarii przebiega według tego samego podziału. Problem w Kafka to zwykle partycja z niepełną replikacją albo broker, który przestał być liderem, a te metryki zna każdy stos monitoringu. Awarie Pulsara kryją się w warstwie, której się nie obserwuje: brokery sprawne, bookie sprawne, a autorecovery po cichu zostaje w tyle.

Tak wygląda rzeczywistość kadrowa. Inżynierów, którzy prowadzili Kafkę na produkcji, jest wielu. Inżynierów, którzy o 3 w nocy potrafią przeanalizować kworum BookKeeper, jest niewielu. Nasze uwagi dotyczące Kafki na Kubernetes obejmują ustawienia pamięci masowej, które zmniejszają tę różnicę, ale nic jej nie likwiduje.

Architektura Pulsara uzasadnia swoją złożoność, gdy trzeba skalować pamięć masową niezależnie od obsługi ruchu, utrzymywać dziesiątki tysięcy topików albo gdy wielodzierżawność na poziomie przestrzeni nazw jest potrzebna, by uniknąć osobnego klastra dla każdego zespołu. W pozostałych przypadkach prostsza warstwa przechowywania Kafki to lepszy wybór, a my możemy pomóc ją zaprojektować lub utrzymać w działaniu.

Niezależna od dostawców ocena platformy streamingowej

Oceniają Państwo platformę streamingową albo potrzebują wsparcia dla już działającej? AceMQ przeprowadza oceny niezależne od dostawców, które zaczynają się od obciążenia, a nie od diagramu architektury — zapraszamy do zapoznania się z ofertą doradztwa Kafka i wsparcia technicznego i doradztwa Apache Kafka albo do rozmowy z inżynierem AceMQ.

Najczęstsze pytania

Na czym polega główna różnica między Kafką a Pulsarem?

Brokery Kafka odpowiadają zarówno za obsługę ruchu, jak i za przechowywanie danych hostowanych przez siebie partycji, więc skalowanie pamięci masowej i skalowanie mocy obliczeniowej to ta sama operacja. Pulsar je rozdziela: bezstanowe brokery obsługują ruch, a Apache BookKeeper przechowuje dane jako podzielone na segmenty ledgery. Ta jedna decyzja determinuje większość pozostałych różnic.

Czy Pulsar jest trudniejszy w utrzymaniu niż Kafka?

Ma więcej ruchomych części — brokery, bookie i magazyn metadanych — wobec brokerów i kontrolerów Kafki od czasu usunięcia ZooKeepera w wersji 4.0. Czy to oznacza większą trudność, zależy od tego, czy dodatkowe komponenty dają coś w zamian. W przypadku potoku dla jednego najemcy zwykle nie.

Czy Pulsar nadal potrzebuje ZooKeepera?

Niekoniecznie. Pulsar obsługuje kilka backendów magazynu metadanych i obecnie rekomenduje Oxia, przy czym ZooKeeper jest nadal wspierany i gotowy do zastosowań produkcyjnych. Starsze porównania opierające się na tym, że Pulsar potrzebuje ZooKeepera, a Kafka nie, są nieaktualne w obu kwestiach.

Co jest lepsze pod kątem wielodzierżawności?

Zdecydowanie Pulsar. Najemcy (tenants) i przestrzenie nazw są w nim pełnoprawnymi obiektami, topiki adresuje się jako persistent://tenant/namespace/topic, a retencja i limity pamięci masowej obowiązują na poziomie przestrzeni nazw. Kafka ma ACL-e i limity (quotas), ale nie ma hierarchii najemców, więc izolacja to konwencja, którą trzeba egzekwować, a nie struktura dostępna od ręki.

Czy Kafka obsługuje kolejkowanie podobne do subskrypcji shared w Pulsarze?

Tak, od Apache Kafka 4.2. Share groups (KIP-932) osiągnęły w tej wersji gotowość produkcyjną po wczesnym dostępie w 4.0 i wersji preview w 4.1. Umożliwiają kooperacyjną konsumpcję bez przypinania partycji do jednego konsumenta, z potwierdzaniem pojedynczych rekordów — co jest bliższe subskrypcji shared w Pulsarze niż klasycznej grupie konsumentów.

Czy obie platformy obsługują tiered storage?

Tak. Tiered storage w Kafka (KIP-405) osiągnął gotowość produkcyjną w wersji 3.9. Pulsar przenosi zamknięte segmenty do S3, Google Cloud Storage, Azure Blob, Alibaba OSS lub systemu plików, a wyzwalaczem może być rozmiar, wiek danych, ręczne polecenie lub polityka przestrzeni nazw.

Która platforma ma lepszą georeplikację?

Pulsar ma ją wbudowaną, konfigurowaną dla każdej przestrzeni nazw, z wzorcami full-mesh, active-active i agregacji oraz opcjami asynchronicznymi i synchronicznymi. Kafka replikuje dane między klastrami za pomocą MirrorMaker 2 lub komercyjnego odpowiednika, co działa dobrze, ale jest osobnym komponentem, który trzeba uruchamiać i monitorować.

Czy warto migrować z Kafki na Pulsara?

Tylko z konkretnego powodu, który da się nazwać — rzeczywistej wielodzierżawności, georeplikacji na poziomie przestrzeni nazw lub niezależnego skalowania pamięci masowej i mocy obliczeniowej. Migracja dla elegancji architektury oznacza realny koszt w narzędziach, rekrutacji i wiedzy organizacyjnej w zamian za korzyść, z której być może nie skorzystają Państwo wcale.

Czy Pulsar jest prostszy w utrzymaniu niż Kafka?

Nie. Dzięki bezstanowym brokerom Pulsara awarie pojedynczych brokerów i rozbudowa pamięci masowej są prostsze niż ponowne przypisywanie partycji w Kafka, ale platforma jako całość ma więcej komponentów stanowych: brokery, bookie BookKeeper i magazyn metadanych — każdy z własnymi trybami awarii, układem dysków i monitoringiem. Kafka w trybie KRaft to jeden typ procesu z lokalnymi dyskami. Jeśli zespół już utrzymuje Kafkę, Pulsar oznacza netto większą powierzchnię operacyjną, a specjalistów, którzy dobrze prowadzą BookKeeper, trudniej zatrudnić niż specjalistów od Kafki.

Źródła

Scott Sternloff

Autor

Scott SternloffStarszy architekt korporacyjny

Starszy architekt korporacyjny w AceMQ. Odpowiada za treści techniczne: architekturę RabbitMQ, Kafka i Redis, klastrowanie i migracje.

Talk to an engineer

Need a hand with Kafka?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

Poradniki, porównania i analizy

Więcej na temat: Kafka

Bezpłatna konsultacja

Niech eksperci przyjrzą się Państwa klastrowi Kafka

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas