개요
Redpanda는 ZooKeeper나 JVM 없이 Kafka 프로토콜을 지원하므로 운영 부담이 크게 줄어듭니다. 마이그레이션은 대개 순조롭지만, 그렇지 않은 부분, 즉 오래된 클라이언트 라이브러리, 관리 도구, 기존 코드에 깔린 Kafka 내부 동작에 대한 가정은 운영 환경이 아니라 테스트 하네스에서 찾아내는 것이 좋습니다.
과제
환경 내의 모든 프로듀서와 컨슈머가 각각 호환성 검토 대상입니다. 오래된 클라이언트 라이브러리 버전은 프로토콜 기능을 다르게 협상하고, 관리 도구는 더 이상 존재하지 않는 JMX 메트릭이나 ZooKeeper 경로에 의존할 수 있으며, Kafka Connect 워커, Streams 애플리케이션, 모니터링 에이전트도 저마다 다른 전제를 갖고 있습니다. 브로커 측 구성은 일대일로 대응되지 않으며, 메시지가 재처리되거나 누락되지 않도록 컨슈머 그룹 오프셋도 그대로 옮겨야 합니다.
환경
다양한 언어와 버전의 클라이언트, Schema Registry, Kafka Connect, 기존 ACL을 갖춘 Kubernetes 또는 VM 기반 Apache Kafka 클러스터를 Redpanda로 마이그레이션하는 환경.
접근 방식
AceMQ는 모든 클라이언트를 라이브러리와 버전별로 목록화한 뒤, 테스트 하네스에서 각 클라이언트가 실제로 사용하는 프로토콜 기능(트랜잭션, 멱등성 프로듀스, 컨슈머 그룹 프로토콜, 관리 작업)을 Redpanda 클러스터를 상대로 검증합니다. 토픽은 오프셋 변환과 함께 MirrorMaker나 Redpanda 마이그레이션 도구를 사용해 단계별로 이전하며, 각 컨슈머가 검증될 때까지 이중 소비를 유지합니다.
해결책
- 언어, 라이브러리, 버전별 클라이언트 목록 작성 및 사용 중인 프로토콜 기능별 호환성 테스트 매트릭스 구성
- 트랜잭션, 멱등성 프로듀스, 컨슈머 그룹 리밸런싱, 관리 API 호출을 Redpanda 대상으로 테스트 하네스에서 검증
- 일대일로 대응되지 않는 파티션, 보존, 컴팩션 설정을 포함한 브로커 구성 전환
- 클라이언트별 인증 메커니즘 검증을 포함한 ACL 및 Schema Registry 마이그레이션
- 컨슈머 그룹 오프셋 변환과 컷오버 전 이중 소비 검증을 포함한 토픽별 복제
- JMX 기반 Kafka 대시보드를 대체하는, Redpanda 메트릭 기준의 모니터링 및 알림 재구축
성과
고객사는 클라이언트 호환성을 사전에 검증한 상태에서 토픽별로 컷오버하고, ZooKeeper 또는 KRaft 운영 계층과 이에 수반되던 JVM 튜닝 부담을 함께 덜어 냅니다. 호환성 문제는 운영 환경 컷오버 중이 아니라 테스트 하네스 단계에서 드러납니다.