이 페이지의 내용
Kafka 4.0은 프로젝트 역사상 가장 큰 아키텍처 변화입니다. 초기 버전부터 Kafka가 의존해 온 외부 코디네이션 서비스인 ZooKeeper가 사라졌습니다. 이제 클러스터 메타데이터와 컨트롤러 합의는 Kafka 자체의 Raft 기반 합의 프로토콜인 KRaft(Kafka Raft)가 내부에서 처리합니다. 운영할 분산 시스템이 하나 줄어드니 운영 모델이 실제로 단순해졌습니다. 하지만 '새로 출시된 주요 아키텍처'라는 것과 '우리 워크로드에서 충분히 검증되었다'는 것은 서로 다른 이야기입니다.
이 글에서는 바로 Kafka 4.0.0에서 심각한 성능 문제를 겪은 실제 운영 사례를 바탕으로, 운영 측면에서 실제로 무엇이 바뀌었는지 다룹니다.
KRaft 모드 자체는 안정적인가요, 아니면 아직 초기/베타 기술로 봐야 하나요?
KRaft 모드는 Kafka 4.0의 표준 운영 아키텍처이며, 현시점에서 베타나 프리뷰 기능이 아닙니다. 여러 조직이 까다로운 사용 사례를 포함해 운영 환경에 적극적으로 배포하고 있습니다. 한 조직은 은행권 트랜잭션 처리 플랫폼에 Kafka 4.0.0을 도입했는데, 바로 ZooKeeper 의존성을 없앤다는 점때문에 선택했습니다. 이 아키텍처 단순화를 피해야 할 리스크가 아니라 미래를 내다본 의도적인 기술 선택으로 본 것입니다.
그렇지만 '아키텍처가 운영 수준이다'라는 것과 '모든 기능이 ZooKeeper 기반 모델에서와 똑같이 동작한다'는 것은 서로 다른 이야기입니다. 이 글 전반에서 다루는 실제 사례가 바로 그 차이를 그대로 보여 줍니다.
여기서 다루는 실제 Kafka 4.0 사례에서는 정확히 무엇이 문제였나요?
Kafka 트랜잭션과 관련된 뚜렷하고 구체적인 성능 저하였습니다. Spring Boot 3.2와 Java 17로 Kafka 4.0.0 기반 트랜잭션 처리 플랫폼을 운영하던 한 조직은, 일반 Kafka 메시징으로 시간당 약 320,000건의 처리량을 측정한 바 있었습니다. 시스템에 복구 기능을 추가하면서 Kafka의 트랜잭션 메시징 기능으로 구현하자, 처리량이 시간당 40,000~50,000건으로 떨어졌고, 결정적으로 서비스 인스턴스 수를 늘려도 개선되지 않았습니다. 수평 확장과 상관없이 같은 처리량 상한에 막혀 있었다는 것은, 병목이 단순한 리소스 경합이 아니라 구조적인 문제(코디네이터 관련일 가능성이 높음)라는 강력한 신호입니다.
팀이 같은 워크로드를 Kafka 트랜잭션 없이 실행해 보자 성능이 정상으로 돌아왔습니다. KRaft 모드, 브로커 구성, 또는 애플리케이션 코드 전반이 아니라 트랜잭션 메시징 경로에 성능 저하의 원인이 있음이 확인된 것입니다.
그렇다면 KRaft 모드에서는 Kafka 트랜잭션에 결함이 있다는 뜻인가요?
결함이라고 단정할 수는 없습니다. 하지만 성능이 중요한 워크로드에 트랜잭션을 적용하기 전에 더 깊이 검증해야 한다는 뜻인 것은 분명합니다. KRaft에서 트랜잭션 코디네이터의 동작은 ZooKeeper 기반 클러스터에서와 아키텍처상 다르며, 그 차이가 특정 사용 패턴에서 바로 이런 처리량 상한으로 나타날 수 있기 때문입니다.
이 사례에서 확인된 사실:
- 처리량 상한은 간헐적이지 않고 재현 가능하며 일관되게 나타났습니다
- 수평 확장에 반응하지 않았으므로 단순한 리소스 부족은 원인에서 제외됩니다
- 같은 워크로드에서 트랜잭션을 제거하자 정상 처리량이 회복되었습니다
진단 관점에서 시사하는 점: 트랜잭션 코디네이터의 동작, 즉 트랜잭션 상태를 클러스터 전반에서 어떻게 추적하고 커밋하고 조정하는지가 유력한 병목 후보입니다. 관측된 '트랜잭션 사용 여부'에 따른 동작 차이와 가장 직접적으로 연결된 구성 요소이기 때문입니다. 이런 문제를 체계적으로 진단한다면 트랜잭션 코디네이터의 배치, 트랜잭션 타임아웃 구성, transactional.id의 카디널리티와 파티셔닝을 우선 조사 대상으로 삼을 것입니다.
Kafka 4.0에서는 트랜잭션을 아예 쓰지 말아야 할까요?
꼭 그렇지는 않습니다. 다만 4.0 이전 문서의 일반적인 Kafka 트랜잭션 가이드가 그대로 적용된다고 가정하지 말고, 운영상 중요하고 지연 시간에 민감한 워크로드에 적용하기 전에 실제와 비슷한 부하에서 자사의 트랜잭션 사용 패턴을 검증하십시오.
사용 사례에 Kafka 트랜잭션이 꼭 필요하다면(프로듀스/컨슘 경계를 넘는 exactly-once 시맨틱, 또는 여러 파티션에 대한 원자적 쓰기):
- 대표적인 트랜잭션 비율과
transactional.id패턴을 사용해, 트랜잭션 없는 처리량 기준선과 별도로 트랜잭션 경로만 따로 부하 테스트하십시오 - 프로듀서/컨슈머 인스턴스를 수평 확장했을 때 실제로 트랜잭션 처리량이 개선되는지 자사 환경에서 테스트하십시오. 개선되지 않는다면 위 사례에서 관측된 것과 같은 경고 신호이므로, 운영 투입 전에 조사할 가치가 있습니다
- KRaft 트랜잭션 코디네이터 동작에 관해 최신 Kafka 4.x 릴리스 노트와 알려진 이슈를 확인하십시오. ZooKeeper 제거 이후 코드베이스에서 활발히 변화하고 있는 영역입니다
사용 사례에 트랜잭션이 꼭 필요하지 않다면, 복구/멱등성 요건을 다른 패턴으로 충족할 수 있는지 평가하십시오. 완전한 트랜잭션 없이 멱등성 프로듀서 구성만 쓰거나, 애플리케이션 수준에서 중복을 제거하거나, 다른 복구 아키텍처를 쓰는 방법 등으로 여기서 관측된 병목 자체를 피할 수 있을지도 모릅니다.
우리 워크로드에 대한 Kafka 4.0 준비 상태는 어떤 부하 테스트로 검증해야 할까요?
이 글에서 다루는 실제 사례에서는 JMeter로 특정 초당/분당 트랜잭션 비율의 통제된 일정한 부하를 생성했습니다. 진단 목적으로 분리하고 재현하기 어려운 운영 트래픽 패턴에 의존하지 않고, 부하 증가에 시스템이 어떻게 반응하는지 명확하고 통제 가능한 방식으로 확인하기 위한 의도적인 선택이었습니다.
타당한 검증 방법:
- 깔끔한 비교 기준을 갖도록 먼저 트랜잭션 없는 처리량 기준선을 잡으십시오
- 트랜잭션을 적용하고 같은 부하 프로파일에서 처리량 차이를 측정하십시오
- 수평 확장을 명시적으로 테스트하십시오. 프로듀서/컨슈머 인스턴스를 추가하고 처리량이 실제로 늘어나는지 확인합니다. 정체된다면 더 진행하기 전에 코디네이터 수준의 병목을 조사하라는 신호입니다
- 소프트 런칭 중의 자연 트래픽에만 의존하지 말고, 일정하고 알려진 트랜잭션 비율을 유지할 수 있는 부하 생성 도구(JMeter, 또는 프로듀서 측 검증에는 Kafka 자체의
kafka-producer-perf-test.sh)를 사용하십시오
오래된 ZooKeeper 기반 클러스터를 쓰는 조직은 실제로 어떤 Kafka 버전을 목표로 해야 할까요?
현재 KRaft 이전 버전을 쓰면서 업그레이드 경로를 계획하고 있다면, Kafka 4.0 이상은 설계상 ZooKeeper를 쓰지 않는다는 점을 기억하십시오. Kafka 4.0부터 ZooKeeper 지원은 지원 중단 예고 수준이 아니라 완전히 제거되었습니다. 따라서 업그레이드 계획에는 KRaft 마이그레이션이 선택적인 후속 단계가 아니라 경로의 일부로 포함되어야 합니다.
Kafka 트랜잭션을 많이 쓰지 않는 워크로드라면, 이 마이그레이션은 이 글의 사례보다 대체로 리스크가 낮습니다. 여기서 확인된 병목은 일반적인 KRaft 클러스터 운영이 아니라 트랜잭션 처리량에만 국한되었기 때문입니다. 트랜잭션 비중이 큰 워크로드라면 KRaft 이전의 트랜잭션 성능 특성이 그대로 유지된다고 가정하지 말고, 위에서 설명한 검증 방법으로 트랜잭션 경로의 부하 테스트 시간을 마이그레이션 계획에 명시적으로 확보하십시오.
결론적으로 Kafka 4.0은 운영 환경에 투입할 준비가 되었을까요?
핵심 KRaft 아키텍처는 운영 투입이 가능하며, 금융 트랜잭션 처리를 포함한 까다로운 워크로드에 적극적으로 도입되고 있습니다. 다만 운영 테스트에서 실제로 재현된 처리량 저하 사례에 근거해, Kafka 트랜잭션은 성능이 중요한 운영 워크로드에 적용하기 전에 별도의 부하 검증이 필요합니다. 이것은 Kafka 4.0을 피할 이유가 아닙니다. 트랜잭션을 포함한 모든 기능이 KRaft 이전 Kafka 버전과 완전히 똑같이 동작한다고 가정하지 말고, 자사의 사용 패턴을 의도적으로 테스트해야 할 이유입니다.
분리형 컨트롤러와 결합 모드: 업스트림의 권장 사항과 AceMQ의 배포 방식
KRaft 클러스터는 메타데이터를 ZooKeeper가 아니라 컨트롤러 노드들로 이루어진 Raft 쿼럼에 보관합니다. 쿼럼은 활성 컨트롤러 하나를 선출하며, 이 컨트롤러가 토픽 및 파티션 정의, 레플리카 할당, 리더 선출, 구성, ACL이 담긴 메타데이터 로그를 소유합니다. 모든 브로커는 이 로그를 따라가며 로컬에 적용합니다. 각 노드는 process.roles로 자신의 역할을 선언합니다. process.roles=controller인 노드는 투표와 메타데이터 제공만 합니다. process.roles=broker인 노드는 클라이언트 트래픽과 파티션 데이터만 처리합니다. process.roles=broker,controller인 노드는 같은 JVM에서 두 가지를 모두 수행하며, 업스트림에서는 이를 결합 모드(combined mode)라고 부릅니다.
업스트림 문서는 이 중 무엇이 운영 환경에 맞는지 분명히 밝힙니다. 전용 서버에서 실행하는 분리형 컨트롤러가 운영 워크로드에 권장되는 구성입니다. 결합 모드는 개발, 테스트, 그리고 리소스 격리가 중요하지 않은 소규모 클러스터에 적합하다고 설명합니다. 지원되고 동작도 하지만, 업스트림이 중요한 배포에 권장하는 구성은 아니며, 저희 경험도 이와 일치합니다.
이유는 장애의 결합입니다. 결합 모드에서는 I/O나 가비지 컬렉션 압박을 받는 브로커가 동시에 컨트롤러이기도 하므로, 문제가 생긴 브로커는 자기 파티션의 리더십을 잃는 데 그치지 않고 클러스터 전체의 쿼럼 투표와 메타데이터 커밋을 지연시킬 수 있습니다. 메타데이터 로그는 커밋할 때마다 fsync를 해야 하는데, 결합 모드에서는 이 fsync가 같은 디스크와 같은 페이지 캐시에서 파티션 로그 쓰기와 경쟁합니다. 그래서 프로듀서 트래픽이 몰리면, 그로부터의 복구를 조율하는 구성 요소 자체가 느려질 수 있습니다. 브로커 롤링 재시작은 곧 컨트롤러 재시작이기도 하므로, 일상적인 브로커 업그레이드나 구성 변경마다 컨트롤러 선출이 일어납니다. 브로커가 몇 대뿐이고 트래픽이 가볍다면 이런 문제는 크게 중요하지 않습니다. 하지만 파티션이 수천 개이고 디스크가 바쁘다면, 평범한 브로커 장애가 클러스터 전체의 메타데이터 장애로 번집니다. 역할을 분리해야 브로커 문제가 브로커 문제로 끝납니다.
분리형 컨트롤러는 파티션 데이터가 아니라 메타데이터만 보관하므로 용량 산정이 쉽습니다. 대부분의 클러스터에는 컨트롤러 3대가 적당하며 1대 장애를 견딥니다. 5대는 매우 큰 환경이나, 다른 노드의 유지보수 중에 존 장애까지 견뎌야 하는 멀티존 배포에서 가치가 있으며, 대신 쿼럼이 약간 느려집니다. 작은 머신으로 충분합니다. 코어 몇 개, 힙 몇 GB, 그리고 메타데이터 로그용으로 용량은 크지 않아도 지연 시간이 짧은 디스크면 됩니다. 존 하나의 장애가 쿼럼까지 무너뜨리지 않도록 가용 영역마다 컨트롤러를 1대씩 두십시오. Kubernetes에서는 브로커 풀과 분리된 전용 컨트롤러 노드 풀을 뜻하며, 이에 관해서는 Kubernetes 환경의 Kafka에서 다룹니다. 쿼럼 배치는 제대로 된 Kafka 재해 복구 설계의 일부이기도 합니다. 컨트롤러 쿼럼을 잃은 클러스터는 모든 브로커가 정상이어도 파티션 리더를 선출할 수 없기 때문입니다.
기존 ZooKeeper 클러스터의 마이그레이션은 정해진 순서를 따릅니다. 먼저 zookeeper.metadata.migration.enable=true와 ZooKeeper 연결 문자열로 새 컨트롤러 쿼럼을 띄워, 컨트롤러가 기존 메타데이터를 읽을 수 있게 합니다. 그다음 마이그레이션 플래그와 컨트롤러 쿼럼 투표자를 구성한 상태로 브로커를 한 대씩 재시작합니다. 그러면 클러스터가 메타데이터를 ZooKeeper와 KRaft 로그 양쪽에 기록하는 이중 쓰기(dual-write) 모드로 전환됩니다. 모든 브로커의 롤링을 마치고 메타데이터를 검증했다면, 컨트롤러에서 마이그레이션 플래그와 ZooKeeper 구성을 제거하고 재시작해 마이그레이션을 확정(finalize)합니다. 그 전까지는 ZooKeeper로 롤백할 수 있지만, 확정한 뒤에는 불가능합니다. Kafka 4.0에서 ZooKeeper 모드가 완전히 제거되었으므로, 이 절차 전체는 브리지 릴리스인 3.9에서 실행해야 합니다. 3.9로 업그레이드하고, 마이그레이션하고, 확정한 다음에야 4.x로 넘어갑니다.
중요한 워크로드에 대한 저희 원칙은 간단합니다. 분리형 컨트롤러 3대를 존마다 1대씩, 다른 어떤 용도와도 분리된 디스크에 둡니다. 결합 모드는 브로커가 몇 대 되지 않고 그 이유가 문서로 남아 있을 때만 씁니다. 대규모로 결합 모드를 운영하던 클러스터를 넘겨받으면, 저희는 대개 파티션 전략이나 용량보다 먼저 역할 분리부터 진행합니다. 자사 환경에 이런 리뷰가 필요하다면 Kafka 컨설팅 팀이 범위를 정해 드리고, 이후에는 Kafka 기술 지원이 24/7 체계와 플랜에 따라 15분부터 시작하는 대응 목표로 클러스터를 지원합니다.
Kafka 4.0 마이그레이션에 관한 도움 받기
Kafka 4.0으로 마이그레이션 중이거나, KRaft 기반 클러스터에서 Kafka 트랜잭션 사용 시 원인을 알 수 없는 처리량 상한을 겪고 계신가요? 진단을 받으시려면 AceMQ에 문의하십시오. 어디서부터 시작해야 할지 모르시겠다면 AceMQ 엔지니어와 상담하십시오.
이 글은 Kafka 운영 가이드의 10단계 중 첫 번째 단계입니다. 이 가이드는 운영 환경에서 운영상의 결정이 필요해지는 순서대로 다룹니다.
자주 묻는 질문
Kafka는 운영 환경에서 분리형 KRaft 컨트롤러를 권장하나요?
네. 업스트림 Kafka 문서는 운영 워크로드에서 컨트롤러를 전용 서버에서 실행하도록 권장하며, 한 노드가 브로커와 컨트롤러를 겸하는 결합 모드(combined mode)는 개발, 테스트, 그리고 리소스 격리가 중요하지 않은 소규모 클러스터에 적합하다고 설명합니다. 결합 모드도 지원되고 동작은 하지만, I/O나 GC 압박을 받는 브로커가 동시에 컨트롤러이기도 하고, 브로커 재시작이 곧 컨트롤러 재시작이 됩니다. 저희는 중요한 워크로드라면 모두 전용 노드와 디스크에 분리형 컨트롤러를 배포하며, 결합 모드는 아주 작은 클러스터에 한해 문서화된 예외로만 다룹니다.
운영 클러스터에는 KRaft 컨트롤러가 몇 대 필요한가요?
대부분의 클러스터는 3대, 매우 크거나 여러 존에 걸친 환경은 5대입니다. 3노드 쿼럼은 컨트롤러 1대 장애를, 5노드 쿼럼은 2대 장애를 견딥니다. 컨트롤러 1대가 유지보수로 내려가 있는 동안 존 장애까지 견디려면 이 차이가 중요합니다. 컨트롤러는 메타데이터만 보관하므로 코어 몇 개, 힙 몇 GB, 지연 시간이 짧은 디스크를 갖춘 작은 노드로 충분합니다. 가용 영역마다 컨트롤러를 1대씩 두고, 메타데이터 로그는 전용 디스크에 두며, Kubernetes에서는 전용 노드 풀에서 실행하십시오. 짝수 대수로 운영하지 말고, 컨트롤러를 브로커 용량으로 계산하지 마십시오.
Kafka 4.0의 KRaft 모드는 운영 환경에 쓸 만큼 안정적인가요?
네. KRaft는 Kafka 4.0의 표준 운영 아키텍처이며 베타 기능이 아닙니다. 여러 조직이 바로 ZooKeeper 의존성을 없앤다는 이유로 은행권 트랜잭션 처리를 포함한 까다로운 워크로드에 KRaft를 적극적으로 도입하고 있습니다.
여기서 다루는 실제 Kafka 4.0 운영 사례에서는 정확히 무엇이 문제였나요?
Kafka 4.0.0 기반 트랜잭션 처리 플랫폼에서 복구 기능을 위해 Kafka 트랜잭션 메시징을 추가하자, 처리량이 시간당 약 320,000건에서 40,000~50,000건으로 떨어졌습니다. 서비스 인스턴스를 늘려도 처리량은 개선되지 않았고, 트랜잭션을 제거하자 정상 성능으로 돌아왔습니다. 성능 저하의 원인이 트랜잭션 경로에 있음이 확인된 것입니다.
KRaft 모드에서는 Kafka 트랜잭션에 결함이 있나요?
결함이라고 단정할 수는 없지만, 더 깊이 검증할 필요가 있습니다. KRaft에서 트랜잭션 코디네이터의 동작은 ZooKeeper 기반 클러스터와 아키텍처상 다릅니다. 관측된 처리량 상한은 재현 가능했고, 수평 확장에도 반응하지 않았으며, 트랜잭션을 제거하자 사라졌습니다. 트랜잭션 코디네이터의 동작이 병목일 가능성이 높다는 뜻입니다.
Kafka 4.0에서는 트랜잭션을 아예 쓰지 말아야 하나요?
꼭 그렇지는 않지만, 운영상 중요한 워크로드에 적용하기 전에 실제와 비슷한 부하에서 자사의 트랜잭션 사용 패턴을 검증하십시오. 트랜잭션이 꼭 필요하지 않다면, 멱등성 프로듀서 구성이나 애플리케이션 수준의 중복 제거처럼 병목 자체를 피할 수 있는 대안을 검토하십시오.
운영 투입 전에 Kafka 4.0 부하 테스트는 어떻게 해야 하나요?
먼저 트랜잭션 없는 처리량 기준선을 잡은 다음, 트랜잭션을 적용해 같은 부하 프로파일에서 차이를 측정하십시오. 수평 확장도 명시적으로 테스트하십시오. 처리량이 늘지 않고 정체된다면 코디네이터 수준의 병목을 조사해야 합니다. 일정하고 통제된 부하를 생성하는 데는 JMeter나 Kafka 자체의 kafka-producer-perf-test.sh가 모두 잘 맞습니다.
아직 ZooKeeper 기반 클러스터를 쓰고 있다면 어떤 Kafka 버전을 목표로 해야 하나요?
Kafka 4.0 이상은 설계상 ZooKeeper를 쓰지 않습니다. 4.0부터 ZooKeeper 지원은 지원 중단 예고(deprecated)가 아니라 완전히 제거되었습니다. 따라서 업그레이드 계획에는 KRaft 마이그레이션이 선택이 아닌 필수 단계로 포함되어야 합니다. 트랜잭션 비중이 큰 워크로드라면 이 마이그레이션의 일부로 트랜잭션 경로의 부하 테스트 시간을 별도로 확보하십시오.
결론적으로 Kafka 4.0은 운영 환경에 투입할 준비가 되었나요?
핵심 KRaft 아키텍처는 운영 투입이 가능하며, 금융 트랜잭션 처리를 포함한 까다로운 워크로드에 실제로 쓰이고 있습니다. 다만 실제로 재현된 처리량 저하 사례에 비추어 볼 때, Kafka 트랜잭션은 성능이 중요한 운영 환경에 적용하기 전에 별도의 부하 검증이 필요합니다.