블로그Kafka

Kafka vs Pulsar: 아키텍처, 운영, 그리고 선택 기준

Scott Sternloff

작성: Scott Sternloff, 시니어 엔터프라이즈 아키텍트

LinkedIn · 업데이트: · 16분 분량

Kafka vs Pulsar: 아키텍처, 운영, 그리고 선택 기준
On this page

Kafka와 Pulsar 사이의 선택은 결국 하나의 아키텍처 결정으로 귀결됩니다. Kafka 브로커는 자신이 호스팅하는 파티션의 서빙과 스토리지를 모두 맡습니다. Pulsar는 이 둘을 분리해, 스테이트리스 브로커가 트래픽을 처리하고 Apache BookKeeper가 데이터를 세그먼트화된 레저로 저장합니다. 멀티 테넌시부터 확장 방식까지 나머지는 모두 이 분리에서 비롯됩니다.

둘 다 성숙한 플랫폼이고, 둘 다 상당한 규모의 운영 환경에서 쓰이고 있습니다. Kafka vs Pulsar 비교에서 어느 한쪽이 완승하지는 않으며, 한쪽의 승리를 선언하는 글은 대개 다른 쪽을 파는 사람이 쓴 것입니다.

두 플랫폼 모두 운영 난도가 높습니다. AceMQ는 BookKeeper와 ZooKeeper를 포함해 24/7 Kafka 기술 지원과 Apache Pulsar 기술 지원을 플랜에 따라 15분부터 시작하는 대응 목표와 함께 제공합니다.

Kafka vs Pulsar: 아키텍처의 분기점

Kafka의 스토리지 모델은 브로커 로컬 디스크에 기록되는 파티션 단위의 복제 로그입니다. 각 파티션에는 리더 브로커와 팔로워 레플리카가 있으며, 모두 자신의 볼륨에 파티션 전체를 보유합니다. 설계상 서빙과 스토리지가 같은 머신이며, 이것이 Kafka를 빠르게 만드는 동시에 리밸런싱을 비싸게 만드는 이유입니다.

Pulsar의 모델은 계층화되어 있습니다. 공식 문서는 브로커를 “스테이트리스 구성 요소”로 설명하며, 브로커는 데이터를 소유하지 않습니다. 스토리지는 “분산 미리 쓰기 로그(WAL) 시스템”인 Apache BookKeeper에 있으며, 토픽의 데이터는 일련의 레저로 기록됩니다. 레저는 “여러 BookKeeper 스토리지 노드, 즉 bookie에 할당되는 단일 작성자 방식의 추가 전용 데이터 구조”이고, “매니지드 레저(managed ledger)”는 이 레저들을 엮어 단일 토픽의 스토리지 계층을 이룹니다.

이 분리에서 세 가지 결과가 나오며, Kafka와 Pulsar를 나란히 운영해 본 팀이 체감하는 차이 대부분이 여기서 설명됩니다.

  • Pulsar에서는 브로커 장애의 비용이 낮습니다. 브로커가 데이터를 소유하지 않으므로, 아무것도 복사하지 않고 토픽 소유권을 다른 브로커로 옮깁니다. Kafka에서는 브로커를 잃으면 리더 선출이 일어나고, 브로커가 디스크와 함께 돌아오지 않으면 네트워크를 통해 레플리카 전체를 재구축해야 합니다.
  • Kafka 파티션은 머신 한 대에 묶입니다. 파티션은 레플리카를 보유한 모든 브로커의 디스크에 들어가야 합니다. Pulsar의 세그먼트는 여러 bookie에 분산되므로, 토픽이 단일 노드의 용량에 묶이지 않습니다.
  • Kafka는 확장이 더 예측 가능합니다. 구성 요소 유형도, 따져야 할 장애 유형도, 메트릭 세트도 하나입니다. Pulsar의 컴퓨팅과 스토리지 독립성은 실재하는 장점이지만, 그로 인해 생기는 추가 운영 범위도 실재합니다.

Kafka의 계층형 스토리지는 첫 번째 제약을 상당히 완화하지만(아래에서 자세히 다룹니다), 브로커가 무엇인가라는 근본적인 차이는 사라지지 않습니다.

일상 운영은 어느 쪽이 더 쉬운가요?

공개된 Kafka vs Pulsar 비교 글 대부분이 낡은 정보가 된 부분이 바로 여기입니다. 두 프로젝트 모두 최근에 답을 바꿨기 때문입니다. 무엇이든 결정하기 전에 릴리스 노트와 대조해 다시 확인할 가치가 있는 섹션이기도 합니다.

Kafka는 ZooKeeper를 제거했습니다. 2025년 3월에 출시된 Apache Kafka 4.0은 ZooKeeper 없이 동작하는 첫 메이저 릴리스로, KRaft 모드만 지원하며 컨트롤러가 별도 앙상블이 아니라 Kafka 프로세스로 실행됩니다. 한편 Pulsar는 이제 여러 메타데이터 백엔드를 지원하며 Oxia를 권장하고, ZooKeeper도 여전히 지원되며 운영 환경에서 사용할 수 있습니다. 따라서 “Pulsar는 ZooKeeper가 필요하고 Kafka는 필요 없다”는 예전 통념은 이제 양쪽 모두 틀렸습니다.

여전히 유효한 것은 구성 요소의 수입니다.

Apache KafkaApache Pulsar
서빙 계층브로커(자신이 맡은 파티션의 데이터를 소유)브로커(스테이트리스)
스토리지 계층같은 브로커, 로컬 로그 디렉터리BookKeeper bookie, 세그먼트화된 레저
메타데이터 / 코디네이션KRaft 컨트롤러(4.0에서 ZooKeeper 제거)메타데이터 저장소(Oxia 권장, ZooKeeper 지원)와 인스턴스 전체 상태를 위한 구성 저장소
운영해야 할 별도 프로세스2개 역할(브로커, 컨트롤러)3개 이상(브로커, bookie, 메타데이터 저장소)
따져야 할 장애 도메인파티션 리더십과 ISR브로커 소유권, 레저 배치, bookie 앙상블
스토리지 확장브로커 추가 또는 계층형 스토리지 사용브로커와 독립적으로 bookie 추가

프로세스 유형이 두 개가 아니라 세 개라는 것이 결격 사유는 아니지만, 공짜도 아닙니다. bookie에는 별도의 용량 계획, 별도의 저널 및 레저 디스크 구성, 별도의 장애 동작이 있으며, 새벽 3시에 BookKeeper 앙상블을 디버깅해 본 사람은 Kafka 브로커를 디버깅해 본 사람보다 훨씬 적습니다.

Kafka 쪽의 운영 고충은 특정 지점, 즉 컨슈머 그룹 리밸런싱에 집중되어 있습니다. 아직 이 문제와 씨름해 보지 않았다면 Kafka 리밸런스를 일으키는 원인과 Kafka 컨슈머 랙 진단을 참고하십시오. Kafka 4.0은 새로운 컨슈머 리밸런스 프로토콜(KIP-848)도 정식 출시(GA)했습니다. 서버 측에서는 기본으로 활성화되고 컨슈머는 group.protocol=consumer로 선택적으로 사용하며, 피해 대부분의 원인이던 전역 stop-the-world 장벽을 없애 줍니다.

둘 중 어느 쪽이든 Kubernetes에서 운영한다면, 스토리지 분리 여부가 배포 형태를 크게 바꾼다는 점에 유의하십시오. Kafka 쪽은 EKS, AKS, GKE에서 Kafka 운영하기에서 다룹니다.

Kafka와 Pulsar의 멀티 테넌시는 어떻게 다른가요?

Pulsar의 가장 분명한 구조적 강점이며, 차이가 큽니다.

Pulsar는 처음부터 멀티 테넌트로 만들어졌습니다. 테넌트는 용량을 할당하고 인증 또는 권한 부여를 적용하는 관리 단위이며, 테넌트 안에 네임스페이스가 있고, 토픽은 persistent://tenant/namespace/topic 형식으로 지정됩니다. 보존 기간이나 스토리지 할당량처럼 운영상 중요한 정책은 네임스페이스 수준에서 적용되므로, 어느 한 팀의 보존 기간이 폭주해도 대화가 아니라 구성으로 억제됩니다.

Kafka에도 인증, ACL, 클라이언트 할당량이 있으며, 토픽 명명 규칙과 엄격한 ACL만으로도 상당히 멀리 갈 수 있습니다. 하지만 테넌시 계층 구조가 없습니다. Kafka에서 격리는 직접 강제해야 하는 것이고, Pulsar에서는 주어지는 것입니다.

고객마다 또는 내부 팀마다 별도의 영역을 제공하는 플랫폼을 구축한다면, 이 차이는 분기가 지날 때마다 커집니다. 팀 하나를 위해 파이프라인 하나를 운영한다면 아무런 가치가 없습니다.

지역 복제와 계층형 스토리지는 어떻게 비교되나요?

지역 복제. Pulsar에는 기본으로 포함되어 있습니다. 복제는 네임스페이스 단위로 구성하며 풀 메시, 액티브-액티브, 집계 토폴로지를 지원합니다. 기본값은 비동기 방식으로, 메시지가 로컬 클러스터에 저장된 뒤 브로커가 복제합니다. 지연 시간을 감수하면 데이터 센터 간 BookKeeper를 통한 동기 복제도 사용할 수 있습니다. 이를 가능하게 하는 인스턴스 전체 상태는 별도의 구성 저장소 쿼럼이 조율합니다.

Kafka는 MirrorMaker 2나 Confluent의 Cluster Linking 같은 벤더 대체 솔루션으로 클러스터 간 복제를 합니다. 잘 동작하고 널리 배포되어 있지만, 별도로 배포하고 모니터링하고 이해해야 하는 시스템이기도 합니다. 클러스터 간 컨슈머 페일오버에서 겪는 예상 밖의 문제 대부분이 숨어 있는 오프셋 변환도 여기에 포함됩니다.

계층형 스토리지. 둘 다 갖추고 있으며, 둘 다 운영 환경에서 사용할 수 있습니다.

  • Kafka의 구현(KIP-405)은 3.9에서 운영 환경 사용 가능 단계에 이르렀으며, 브로커가 최근 데이터는 로컬에 유지하면서 오래된 로그 세그먼트를 플러그인 방식의 외부 스토리지로 오프로드합니다.
  • Pulsar는 봉인된 읽기 전용 세그먼트를 Amazon S3, Google Cloud Storage, Azure Blob Storage, Alibaba Cloud OSS 또는 파일 시스템으로 오프로드합니다. 오프로드는 백로그 크기, 메시지 경과 시간, 수동 관리 명령, 네임스페이스 수준 정책으로 트리거할 수 있으며, 백그라운드에서 비동기로 실행됩니다.

Pulsar의 구현이 더 성숙한 이유는 단순히 몇 년 먼저 나왔고 세그먼트 기반 스토리지와 자연스럽게 맞았기 때문입니다. Kafka는 실질적인 격차를 대부분 좁혔습니다. 2026년의 신규 배포에서 계층형 스토리지는 더 이상 2022년처럼 Kafka와 Pulsar를 가르는 결정적 요소가 아닙니다.

큐 방식 소비와 메시지 단위 확인 응답은 어떤가요?

역사적으로 Kafka와 Pulsar 사이의 가장 실질적인 기능 격차였고, 가장 최근에 좁혀진 격차이기도 합니다.

Pulsar는 네 가지 구독 유형을 제공합니다. exclusive(기본값, 컨슈머 하나), failover(프라이머리와 대기 컨슈머), shared(컨슈머 간 라운드 로빈, 각 메시지는 정확히 한 컨슈머에게), key_shared(같은 키의 메시지는 항상 같은 컨슈머에게)입니다. 개별 및 누적 확인 응답, 부정 확인 응답(negative acknowledgement), 재시도 토픽과 데드 레터 토픽, 서버 측 메시지 중복 제거를 지원합니다. 이 조합은 기존 Kafka 컨슈머 그룹으로는 표현할 수 없는 작업 큐 패턴을 다룹니다. Kafka 파티션은 그룹 내 정확히 한 컨슈머에게 할당되기 때문입니다.

Kafka는 공유 그룹(share group, KIP-932)으로 응답했습니다. 4.0에서 얼리 액세스, 4.1에서 프리뷰를 거쳐 Apache Kafka 4.2에서 운영 환경 사용 가능 단계가 되었습니다. 공유 그룹의 컨슈머는 파티션을 컨슈머 하나에 고정하지 않고 협력적으로 소비하며, 레코드 단위 확인 응답과 전달 시도 횟수 집계를 지원합니다. Pulsar의 shared 구독에 훨씬 가까워졌고, 큐 형태의 워크로드에 Pulsar를 택할 실질적인 이유였던 부분을 없앴습니다.

2026년 이전에 작성된 비교 글을 근거로 평가하고 있다면, 이 섹션은 최신 릴리스 노트와 대조해 확인하십시오. 전체 비교에서 가장 빠르게 변하는 부분입니다.

생태계와 채용 인력 풀은 어느 쪽이 더 큰가요?

큰 차이로 Kafka이며, 완곡하게 표현할 만큼 박빙인 문제도 아닙니다.

Kafka Connect에는 수백 개의 커넥터가 있습니다. Kafka Streams와 ksqlDB는 널리 배포되어 있습니다. Flink, Spark를 비롯한 모든 주요 스트림 처리 엔진이 Kafka를 일급 소스이자 싱크로 다룹니다. 모든 관측성 벤더가 Kafka 대시보드를 제공합니다. 모든 클라우드가 매니지드 Kafka나 Kafka 호환 엔드포인트를 제공합니다. 그리고 무엇보다, 운영 환경에서 Kafka를 다뤄 본 사람을 채용할 수 있습니다.

Pulsar에도 실질적인 대응 기능이 있습니다. Pulsar IO 커넥터, 경량 처리를 위한 Pulsar Functions, 토픽 조회를 위한 Pulsar SQL입니다. 다만 카탈로그가 더 작고, 서드파티 통합 범위가 더 얇으며, 운영 노하우가 더 적은 인원과 더 적은 벤더에 집중되어 있습니다.

아키텍처 결정에서 이 점은 대부분의 Kafka vs Pulsar 비교 글이 인정하는 것보다 더 중요합니다. 익숙하지 않은 플랫폼의 비용은 선정 시점에 치르는 것이 아닙니다. 18개월 뒤 새벽 3시에, 그때 온콜을 맡은 사람이 치릅니다.

Kafka vs Pulsar: 무엇을 선택해야 할까요?

  • Kafka를 선택해야 할 때: 가장 큰 생태계와 채용 인력 풀을 원할 때, 워크로드가 단순한 고처리량 파이프라인일 때, 운영할 프로세스 유형을 최소화하고 싶을 때, 또는 서드파티 계약 없이 어느 클라우드에서든 매니지드 서비스가 필요할 때입니다.
  • Pulsar를 선택해야 할 때: 멀티 테넌시가 있으면 좋은 기능이 아니라 제품 요구 사항일 때, 여러 리전에 걸쳐 네임스페이스 단위의 내장 지역 복제가 필요할 때, 스토리지와 컴퓨팅이 정말로 독립적으로 확장되어야 할 때, 또는 단일 토픽의 데이터가 브로커 한 대의 디스크에 여유 있게 들어가지 않을 때입니다.
  • 우아함 때문에 마이그레이션하지 마십시오. Pulsar의 아키텍처는 화이트보드 위에서 감탄하기 쉬운 방식으로 더 깔끔합니다. 그것이 우리 워크로드의 어떤 제약을 풀어 주는지 구체적으로 말할 수 없다면, 마이그레이션은 더 마음에 드는 다이어그램 하나를 얻는 대가로 도구, 재교육, 조직 내 노하우를 잃게 만듭니다.

솔직하게 요약하면, 이는 어느 한 시스템이 뒤처진 경우가 아닙니다. 예전에 Kafka와 Pulsar 사이의 선택을 어느 방향으로든 뻔하게 만들던 격차, 즉 ZooKeeper, 계층형 스토리지, 큐 시맨틱은 2024년 이후 모두 좁혀졌습니다. 남은 것은 서빙과 스토리지가 따로 확장되어야 하는가라는 진짜 아키텍처 질문과, 팀이 실제로 운영할 수 있는 플랫폼이 무엇인가라는 진짜 조직 차원의 질문입니다.

Kafka는 멀티 테넌시와 계층형 스토리지에서 Pulsar를 따라잡았나요?

스토리지는 대체로 그렇습니다. 테넌시는 아닙니다.

Kafka의 계층형 스토리지는 닫힌 로그 세그먼트를 로컬 디스크에서 오브젝트 스토리지로 옮기며, 클라이언트가 통신하는 대상은 여전히 브로커뿐입니다. 최근 오프셋을 읽는 컨슈머는 로컬 핫 세트에서 읽고, 오래된 오프셋을 읽는 컨슈머는 원격 fetch를 일으키며, 브로커가 같은 fetch API를 통해 이를 스트리밍해 돌려줍니다. 로컬 보존은 용량 결정이 아니라 캐시 크기 결정이 되고, 파티션은 몇 달 치 디스크 없이도 몇 달 치 이력을 보유할 수 있습니다. 로컬 및 원격 보존 설정이 어떻게 상호작용하는지는 Kafka 보존 정책 가이드에서 다룹니다.

Pulsar는 BookKeeper 오프로더를 통해 몇 년 먼저 이 지점에 도달했고, 두 가지 실질적인 강점을 유지합니다. 오프로드가 토픽 단위 설정이 아니라 네임스페이스 정책이라는 점, 그리고 bookie가 처음부터 스토리지 계층이었기 때문에 브로커 디스크가 애초에 고려 대상이 아니었다는 점입니다. Kafka의 구현에는 아직 걸리는 부분이 있습니다. 컴팩션 토픽은 계층화할 수 없고, 콜드 데이터를 따라잡는 읽기는 원격 fetch 지연을 감수해야 하며, 원격 스토리지 플러그인은 직접 선택하고 운영해야 합니다. 일반적인 이벤트 스트림의 장기 보존이라면 둘의 차이가 충분히 작아서 스토리지가 플랫폼 선택을 좌우해서는 안 됩니다.

테넌시는 사정이 다릅니다. Pulsar에서는 테넌트가 네임스페이스를 소유하고, 네임스페이스가 토픽을 소유하며, 할당량, 보존, 오프로드, 복제, 권한이 네임스페이스에 연결됩니다. Kafka는 관례로 상당 부분을 해결합니다. 팀마다 토픽 접두사를 두고, 그 패턴에 접두사 ACL을 걸고, 프린시펄 단위 할당량을 설정하고, 어느 한 팀이 다른 팀에 피해를 줄 만큼 시끄러우면 클러스터를 분리합니다. 하지만 이는 평면적인 네임스페이스 위에 얹은 규율이지, 브로커가 강제하는 모델이 아닙니다. ACL 하나를 잘못 입력하면 접두사가 엉뚱한 팀에 열릴 수 있고, 한 팀의 설정을 하나의 객체로 모아 점검할 방법도 없습니다.

저희의 결론은 이렇습니다. Kafka는 스토리지 격차와 운영 격차의 대부분을 좁혔습니다. Pulsar는 여전히 더 깔끔한 테넌시 모델을 갖고 있으며, 그 대가는 브로커 옆에서 두 번째 스테이트풀 시스템으로 돌아가는 BookKeeper와 그 메타데이터 저장소입니다.

저희가 수행한 프로젝트에서 일급 테넌시를 실제로 필요로 하는 조직은 이를 문의하는 조직보다 훨씬 적습니다. 플랫폼 팀 하나가 엄격한 격리, 비용 배분(chargeback), 셀프서비스 프로비저닝을 갖춰 수십 개의 애플리케이션 팀을 지원할 때는 중요합니다. 같은 온콜 로테이션 안에 데이터를 생산하는 팀이 서너 개인 기업에는 중요하지 않으며, 저희가 함께 일하는 기업 대부분이 이에 해당합니다.

BookKeeper vs Kafka 로그: 스토리지 계층이 운영을 결정하는 이유

두 플랫폼의 운영상 차이는 거의 모두 바이트가 어디에 있느냐로 귀결됩니다.

Kafka 브로커는 자신의 파티션을 소유합니다. 로그 세그먼트는 로컬 디스크에, 레플리카는 다른 브로커의 로컬 디스크에 있고, KRaft 컨트롤러가 누가 무엇의 리더인지 추적합니다. 스토리지 용량이 곧 브로커 용량입니다. 디스크가 차거나 브로커에 부하가 몰리면 해결책은 파티션 재할당이며, 이는 네트워크를 통해 레플리카 데이터를 복사하고 따라잡을 때까지 기다리는 작업입니다. 스로틀링이 걸리고, 실시간 트래픽과 경쟁하며, 큰 파티션이라면 몇 시간이 걸립니다. Kafka 파티션 전략에서 다루듯 처음부터 파티션 수와 키 분포를 제대로 잡는 것은 대부분 나중에 이 작업을 피하기 위해서입니다.

Pulsar 브로커는 데이터를 보유하지 않습니다. 토픽은 매니지드 레저이고, 각 레저는 bookie 앙상블에 걸쳐 스트라이핑되며, 새 bookie는 다음 레저부터 그냥 포함됩니다. 스토리지 확장은 bookie를 추가하는 것입니다. 아무것도 옮겨지지 않고, 리밸런스도 실행되지 않으며, 브로커 장애는 레플리카 따라잡기가 아니라 초 단위로 끝나는 소유권 변경입니다.

그 대가는 고유한 용어 체계를 가진 두 번째 스테이트풀 시스템입니다. 모든 레저에는 앙상블 크기, 쓰기 쿼럼, ack 쿼럼이 있으며, 세 값의 관계가 내구성과 잃어도 되는 bookie 수를 함께 결정합니다. bookie가 죽으면 자동 복구(autorecovery)가 복제가 부족한 레저를 찾아 다시 복제해야 합니다. 저희가 인수한 클러스터에서 실제로 발견한 것처럼 이 기능이 잘못 구성되거나 비활성화되어 있으면, 클러스터는 누구도 모르는 사이에 생각보다 적은 이중화로 조용히 돌아갑니다. 페일오버 시 레저 복구는 새 브로커가 읽기를 서비스하기 전에 이전 소유자를 펜싱하고 마지막 엔트리를 확정해야 합니다.

쓰기 경로의 형태도 다릅니다. Kafka의 produce는 리더의 페이지 캐시에 들어간 뒤 팔로워로 퍼지고, ISR이 받으면 확인 응답됩니다. 클라이언트에서 한 홉이며, 내구성은 acks와 min.insync.replicas로 정해집니다. Pulsar의 produce는 브로커로 가고, 브로커가 앙상블에 병렬로 기록합니다. 각 bookie는 레저 쓰기 전에 저널 엔트리를 fsync하며, 브로커는 ack 쿼럼에 도달하면 확인 응답합니다. 핫 패스에 두 홉과 fsync가 있다는 점이, 같은 내구성 수준에서 Pulsar의 p99 쓰기 지연 시간이 Kafka보다 높은 이유입니다.

장애 발견도 같은 분기를 따릅니다. Kafka의 문제는 대개 복제가 부족한 파티션이나 리더 역할을 멈춘 브로커이며, 모든 모니터링 스택이 이 메트릭을 알고 있습니다. Pulsar의 장애는 지켜보지 않는 계층에 숨어 있습니다. 브로커도 정상, bookie도 정상인데 자동 복구만 조용히 뒤처져 있는 식입니다.

이것이 인력 측면의 현실입니다. 운영 환경에서 Kafka를 다뤄 본 엔지니어는 흔합니다. 새벽 3시에 BookKeeper 쿼럼을 따져 볼 수 있는 엔지니어는 드뭅니다. Kubernetes 기반 Kafka에 관한 저희의 글은 격차를 좁히는 스토리지 설정을 다루지만, 격차를 완전히 없애 주는 것은 없습니다.

Pulsar의 아키텍처는 서빙과 별개로 스토리지를 확장해야 하거나, 수만 개의 토픽을 운영하거나, 팀마다 클러스터를 두지 않으려고 네임스페이스 테넌시가 필요할 때 그 복잡성만큼의 값을 합니다. 그렇지 않다면 Kafka의 더 단순한 스토리지 계층이 더 나은 선택이며, 저희가 설계와 안정적인 운영을 도와드릴 수 있습니다.

벤더 중립적인 스트리밍 평가 받기

스트리밍 플랫폼을 검토 중이시거나, 이미 운영 중인 플랫폼의 지원이 필요하십니까? AceMQ는 아키텍처 다이어그램이 아니라 워크로드에서 출발하는 벤더 중립적인 평가를 수행합니다. Kafka 컨설팅과 Apache Kafka 기술 지원 및 컨설팅을 살펴보시거나, AceMQ 엔지니어와 상담하십시오.

자주 묻는 질문

Kafka와 Pulsar의 가장 큰 차이는 무엇인가요?

Kafka 브로커는 자신이 호스팅하는 파티션의 서빙과 스토리지를 모두 맡으므로, 스토리지 확장과 컴퓨팅 확장이 같은 작업입니다. Pulsar는 이 둘을 분리합니다. 스테이트리스 브로커가 트래픽을 처리하고, Apache BookKeeper가 데이터를 세그먼트화된 레저(ledger)로 저장합니다. 이 하나의 결정이 나머지 차이 대부분을 만들어 냅니다.

Pulsar는 Kafka보다 운영하기 어렵나요?

움직이는 부품이 더 많습니다. 브로커, bookie, 메타데이터 저장소가 있는 반면, Kafka는 4.0에서 ZooKeeper가 제거된 이후 브로커와 컨트롤러뿐입니다. 이것이 더 어려운지는 추가 구성 요소가 그만한 이점을 주느냐에 달려 있습니다. 단일 테넌트 파이프라인이라면 대개 그렇지 않습니다.

Pulsar는 여전히 ZooKeeper가 필요한가요?

반드시 그렇지는 않습니다. Pulsar는 여러 메타데이터 저장소 백엔드를 지원하며 현재는 Oxia를 권장하고, ZooKeeper도 여전히 지원되며 운영 환경에서 사용할 수 있습니다. Pulsar는 ZooKeeper가 필요하고 Kafka는 필요 없다는 점을 근거로 삼는 예전 비교 글은 양쪽 모두에 대해 낡은 정보입니다.

멀티 테넌시에는 어느 쪽이 더 낫나요?

분명히 Pulsar입니다. 테넌트와 네임스페이스가 일급 개념이고, 토픽은 persistent://tenant/namespace/topic 형식으로 지정되며, 보존 기간과 스토리지 할당량이 네임스페이스 단위로 적용됩니다. Kafka에는 ACL과 할당량은 있지만 테넌시 계층 구조가 없으므로, 격리는 구조로 주어지는 것이 아니라 관례로 강제해야 하는 것입니다.

Kafka도 Pulsar의 shared 구독처럼 큐 방식 소비를 지원하나요?

Apache Kafka 4.2부터 지원합니다. 공유 그룹(share group, KIP-932)은 4.0의 얼리 액세스와 4.1의 프리뷰를 거쳐 4.2에서 운영 환경 사용 가능 단계가 되었습니다. 파티션을 컨슈머 하나에 고정하지 않고 협력적으로 소비할 수 있으며 레코드 단위 확인 응답을 지원하므로, 기존 컨슈머 그룹보다 Pulsar의 shared 구독에 더 가깝습니다.

둘 다 계층형 스토리지를 지원하나요?

그렇습니다. Kafka의 계층형 스토리지(KIP-405)는 3.9에서 운영 환경 사용 가능 단계가 되었습니다. Pulsar는 봉인된 세그먼트를 S3, Google Cloud Storage, Azure Blob, Alibaba OSS 또는 파일 시스템으로 오프로드하며, 크기, 경과 시간, 수동 명령, 네임스페이스 정책으로 트리거할 수 있습니다.

지역 복제(geo-replication)는 어느 쪽이 더 낫나요?

Pulsar는 지역 복제가 내장되어 있어 네임스페이스 단위로 구성하며, 풀 메시, 액티브-액티브, 집계(aggregation) 패턴과 비동기 및 동기 옵션을 모두 지원합니다. Kafka는 MirrorMaker 2나 상용 대체 솔루션으로 클러스터 간 복제를 하는데, 잘 동작하지만 별도로 운영하고 모니터링해야 하는 구성 요소입니다.

Kafka에서 Pulsar로 마이그레이션해야 할까요?

구체적으로 말할 수 있는 이유가 있을 때만 하십시오. 진정한 멀티 테넌시, 네임스페이스 단위 지역 복제, 스토리지와 컴퓨팅의 독립적인 확장 같은 이유입니다. 아키텍처의 우아함 때문에 마이그레이션한다면, 쓰지도 않을 수 있는 이점을 위해 도구, 채용, 조직 내 노하우 측면에서 실질적인 비용을 치르게 됩니다.

Pulsar가 Kafka보다 운영하기 더 간단한가요?

아닙니다. Pulsar의 스테이트리스 브로커 덕분에 개별 브로커 장애와 스토리지 확장은 Kafka의 파티션 재할당보다 간단하지만, 플랫폼 전체로 보면 스테이트풀 구성 요소가 더 많습니다. 브로커, BookKeeper bookie, 메타데이터 저장소가 있고 각각 고유한 장애 유형, 디스크 구성, 모니터링이 필요합니다. KRaft 기반 Kafka는 로컬 디스크를 쓰는 단일 프로세스 유형입니다. 팀이 이미 Kafka를 운영하고 있다면 Pulsar는 운영 범위를 순수하게 늘리는 선택이며, BookKeeper를 제대로 운영할 인력은 Kafka 인력보다 채용하기 어렵습니다.

참고 자료

Scott Sternloff

저자

Scott Sternloff시니어 엔터프라이즈 아키텍트

AceMQ 시니어 엔터프라이즈 아키텍트. RabbitMQ, Kafka, Redis 아키텍처, 클러스터링, 마이그레이션 등 기술 분야 글을 씁니다.

Talk to an engineer

Need a hand with Kafka?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

가이드, 비교, 리서치

Kafka 더 깊이 알아보기

무료 상담

Kafka 클러스터, 전문가에게 점검받으세요

프로덕션 장애를 해결하는 중이든, 마이그레이션을 계획 중이든, 아키텍처에 대한 다른 의견이 필요하든 AceMQ 팀이 준비되어 있습니다. 영업 권유 없이 답만 드립니다.

이메일 문의