블로그Kafka

Kafka 재해 복구: 멀티 리전 전략, 아키텍처, RPO/RTO 트레이드오프

Scott Sternloff

작성: Scott Sternloff, 시니어 엔터프라이즈 아키텍트

LinkedIn · 업데이트: · 10분 분량

Kafka 재해 복구: 멀티 리전 전략, 아키텍처, RPO/RTO 트레이드오프
On this page

Kafka 재해 복구를 구성하려면 별도 리전이나 데이터 센터 같은 독립된 장애 도메인에 두 번째 Kafka 클러스터를 배포하고, Kafka MirrorMaker 2, Confluent Replicator, AWS MSK Replicator 같은 도구로 토픽과 컨슈머 그룹 오프셋을 지속적으로 복제하며, 프로듀서와 컨슈머를 대상 클러스터로 전환하는 검증된 페일오버 런북을 유지해야 합니다. 액티브-패시브, 액티브-액티브, 스트레치 클러스터 중 어떤 아키텍처를 택할지는 두 가지 숫자로 결정됩니다. 하나는 복구 시점 목표(허용 가능한 데이터 손실량), 다른 하나는 복구 시간 목표(서비스를 얼마나 빨리 복구해야 하는가)입니다. Kafka 재해 복구 계획의 나머지는 모두 이 두 가지 비즈니스 요구 사항에서 출발합니다.

이 가이드에서는 Kafka 재해 복구의 주요 아키텍처와 각각의 트레이드오프, 그리고 서류상으로만 그럴듯한 계획과 실제 재해 상황을 견뎌 내는 계획을 가르는 운영상의 함정, 특히 오프셋 변환 문제를 살펴봅니다.

단일 Kafka 클러스터는 DR 전략이 아닌 이유

Apache Kafka는 흔히 내결함성을 갖춘 시스템으로 소개되며, 단일 클러스터 안에서는 사실입니다. 복제 계수를 3으로 설정하면 Kafka는 파티션 데이터를 여러 브로커에 분산하므로, 클러스터 내 브로커 한두 대를 잃어도 데이터는 손실되지 않습니다. 리더 선출이 동기화된 레플리카(ISR)를 자동으로 승격하며, 잘 구성된 환경은 일상적인 브로커 장애를 문제없이 넘깁니다.

하지만 내장 복제가 보호하는 범위는 하나의 장애 도메인 안까지입니다. 단일 클러스터는 여러 랙에 걸쳐 있더라도 하나의 리전, 하나의 네트워크, 하나의 관리 영향 범위 안에 있습니다. 리전 전체의 손실, 실수로 인한 토픽 삭제, 잘못된 ACL 변경, 손상된 KRaft 쿼럼, 클라우드 제공업체 장애로부터는 보호하지 못합니다. 고가용성(HA)과 재해 복구(DR)는 서로 다른 영역입니다. HA는 구성 요소 장애 중에도 클러스터를 계속 운영하게 하고, DR은 환경 전체가 사라진 뒤 Kafka 서비스를 복구합니다.

비즈니스가 의존하는 실시간 데이터 파이프라인을 운영하는 팀에게 이 구분은 비즈니스 연속성 계획의 토대입니다. Kafka가 결제, 물류, 이상 거래 탐지의 중추라면 몇 시간 단위의 다운타임은 받아들일 수 없는 결과이며, 이벤트를 조용히 유실하는 것도 마찬가지입니다.

도구가 아니라 RPO와 RTO에서 시작하십시오

복제 도구를 비교하기 전에 비즈니스 부서와 함께 두 가지 숫자를 확정하십시오.

  • 복구 시점 목표(RPO): 허용 가능한 최대 데이터 손실을 시간 단위로 나타낸 값입니다. RPO가 5분이라면 재해 시 최대 5분 분량의 Kafka 데이터를 잃을 수 있다는 뜻입니다.
  • 복구 시간 목표(RTO): 서비스를 복구하는 데 허용되는 최대 시간입니다. RTO가 30분이라면 30분 안에 컨슈머와 프로듀서가 다시 정상적으로 동작해야 합니다.

이 목표치가 비용을 결정합니다. 리전 간 비동기 복제는 적정한 비용으로 복제 지연(일반적으로 수 초에서 수 분)만큼의 RPO를 제공합니다. RPO 0, 즉 데이터 손실 없는 페일오버를 달성하려면 동기 복제가 필요하며, 이는 모든 produce 요청에 지연 시간 부담을 지고 빠른 링크로 연결된 여러 가용 영역에 인프라를 운영해야 한다는 의미입니다. 달성 가능한 복구 시간은 도구보다는 페일오버 절차가 얼마나 자동화되고 충분히 리허설되었는지에 더 크게 좌우됩니다.

워크로드마다 현실적으로 판단하십시오. 클릭스트림 분석 데이터를 처리하는 클러스터는 금융 거래를 처리하는 클러스터보다 느슨한 복구 시점을 허용할 수 있습니다. 많은 팀이 계층형 복구 계획을 택합니다. 소수의 핵심 토픽에는 엄격한 RPO/RTO를, 나머지에는 완화된 목표를 적용하는 방식입니다.

Kafka 재해 복구 아키텍처

Apache Kafka® 재해 복구에는 널리 쓰이는 네 가지 패턴이 있습니다. 대부분의 운영 환경은 처음 두 가지 중 하나를 사용합니다.

MirrorMaker 2 기반 액티브-패시브

Kafka DR에서 가장 일반적인 전략은 액티브-패시브 쌍입니다. 프라이머리 클러스터가 모든 트래픽을 처리하고, Apache Kafka에 포함되어 Kafka Connect 프레임워크 위에서 동작하는 MirrorMaker 2(MM2)가 토픽, 구성, 컨슈머 오프셋을 다른 리전이나 데이터 센터의 대기 클러스터로 비동기 복제합니다.

평상시 패시브 클러스터는 복제된 데이터를 받기만 하고 클라이언트 요청은 처리하지 않습니다. 재해가 발생하면 페일오버를 수행합니다. 프로듀서와 컨슈머가 대기 클러스터를 바라보도록 바꾸고, 이를 프라이머리로 승격한 뒤 운영을 이어 갑니다. RPO는 복제 지연과 같고, RTO는 클라이언트를 얼마나 빨리 전환할 수 있느냐에 달려 있습니다. DNS 기반 부트스트랩 주소와 리허설된 자동화가 갖춰져 있다면 수 분 안에 가능합니다.

액티브-패시브가 널리 쓰이는 이유는 개념이 단순하고, 오픈소스 도구로 구현할 수 있으며, 대기 클러스터를 저렴하게 유지할 수 있기 때문입니다(승격 전까지는 더 작게 운영해도 됩니다). 약점은 비대칭성에 있습니다. 재해가 지나간 뒤의 페일백이 페일오버보다 어려운 경우가 많고, 테스트하지 않은 오프셋 동기화는 컨슈머 재개를 조용히 망가뜨릴 수 있습니다. 이에 대해서는 아래에서 자세히 다룹니다.

액티브-액티브 Kafka

액티브-액티브 Kafka 토폴로지에서는 서로 다른 리전의 두 개(또는 그 이상) 클러스터가 모두 실시간 트래픽을 처리하며, 대개 MM2나 Confluent Cluster Linking으로 서로를 복제합니다. 각 리전의 클라이언트가 로컬에서 produce와 consume을 수행하므로 지리적으로 분산된 사용자의 리전 간 지연 시간이 줄고, 페일오버는 대부분 트래픽 라우팅 문제로 단순해집니다. 한 리전이 다운되어도 다른 리전은 이미 운영 중이기 때문입니다.

대가는 복잡성입니다. 액티브-액티브 방식의 멀티 리전 Kafka에는 신중한 토픽 명명 규칙(MM2는 무한 복제 루프를 막기 위해 복제된 토픽 이름 앞에 소스 클러스터 별칭을 붙입니다), 리전 간 최종 일관성을 허용하는 애플리케이션, 컨슈머 그룹이 이동할 때 중복 처리를 피하는 전략이 필요합니다. 리전을 아우르는 전역 순서 보장도 없습니다. 상시 가동되는 지리적 분산 워크로드처럼 적합한 사례라면 액티브-액티브는 가장 뛰어난 RTO를 제공합니다. 단일 리전 제품이라면 대개 과잉 설계입니다.

스트레치 클러스터

스트레치 클러스터는 브로커가 여러 데이터 센터나 가용 영역에 걸쳐 있는 단일 Kafka 배포로, 동기 복제(acks=all과 사이트 전반에 적용되는 min.insync.replicas)를 사용해 모든 쓰기가 승인되기 전에 최소 두 곳에 기록되도록 합니다. 사이트 하나를 통째로 잃어도 클러스터는 계속 동작합니다. 페일오버 이벤트도, 오프셋 변환도 없으며, RPO는 0입니다.

문제는 물리적 한계와 비용입니다. 모든 produce 요청이 사이트 간 왕복 지연을 부담하므로, 스트레치 클러스터는 지연이 짧은 링크로 연결된 사이트 사이에서만 현실적입니다(일반적으로 약 50 ms 미만이며, 이상적으로는 한 리전 안의 가용 영역 간이고, 쿼럼 배치를 위해 2.5DC/3DC 설계를 사용합니다). 직관과 달리 스트레치 클러스터가 항상 미러링보다 비싼 것은 아닙니다. 클러스터를 두 개가 아니라 하나만 운영하기 때문입니다. 하지만 모든 사이트가 같은 리전에 있다면 리전 단위 재해로부터는 보호하지 못하며, 운영자 실수는 모든 사이트로 즉시 복제되므로 이로부터도 결코 보호하지 못합니다.

오브젝트 스토리지 백업 및 복원

클러스터 복제는 백업을 대체하지 않습니다. 복제는 실수까지 충실하게 복사합니다. 삭제된 토픽이나 포이즌 필 데이터는 수 초 안에 DR 사이트로 미러링됩니다. 핵심 토픽을 주기적으로 오브젝트 스토리지에 스냅샷(Kafka Connect S3 싱크나 계층형 스토리지 활용)하면 복제로는 불가능한 특정 시점 복구가 가능해지지만, 복원 속도는 훨씬 느립니다. 실시간 대기 클러스터를 대신하는 것이 아니라 보완하는 수단으로 다루십시오.

Kafka DR 아키텍처 비교

아키텍처 일반적인 RPO 일반적인 RTO 상대적 비용 복잡도 적합한 환경
액티브-패시브(MM2) 수 초–수 분(비동기 지연) 수 분–수 시간 $$ 중간 대부분의 엔터프라이즈 워크로드
액티브-액티브 수 초(리전별) 수 초–수 분 $$$ 높음 지리적으로 분산된 상시 가동 시스템
스트레치 클러스터 0 거의 0(자동) $$–$$$ 중간–높음 저지연 사이트, 데이터 손실 0이 의무인 환경
백업/복원 수 시간(스냅샷 주기) 수 시간 $ 낮음 컴플라이언스, 운영자 실수 복구

리허설한 페일오버 계획 없이 운영 환경에서 Kafka를 운영하고 계십니까? AceMQ의 시니어 엔지니어가 Kafka 재해 복구를 설계, 구현하고 실전처럼 검증합니다. 새벽 3시에 문제가 생겨도 24/7 기술 지원 팀이 플랜에 따라 15분부터 시작하는 대응 목표에 맞춰 대응합니다. Kafka 엔지니어와 상담하기.

오프셋 변환 문제(DR 계획이 실제로 실패하는 지점)

Kafka 재해 복구에서 가장 미묘한 장애 유형은 데이터 손실이 아니라 컨슈머가 엉뚱한 위치에서 재개되는 것입니다. 오프셋은 클러스터마다 다릅니다. 복제 시작 시점이 다르고, 보존 정책이 삭제하는 범위가 다르며, 컴팩션이 로그를 다르게 재작성하기 때문에 프라이머리의 오프셋 1,000,000은 대상 클러스터의 오프셋 1,000,000이 아닙니다.

MirrorMaker 2는 체크포인팅으로 이 문제를 해결합니다. MirrorCheckpointConnector가 변환된 컨슈머 그룹 오프셋을 대상 클러스터로 주기적으로 전송하며, Kafka 2.7부터는 이를 대상 클러스터의 __consumer_offsets 토픽에 직접 동기화할 수 있습니다. 하지만 실제 페일오버에서 발목을 잡는 함정이 있습니다.

  • 체크포인트 단위. 오프셋 동기화는 주기적으로 이루어집니다(기본값: 60초마다). 페일오버한 컨슈머는 마지막으로 소비한 레코드가 아니라 마지막 체크포인트 위치에서 시작하므로, 재처리를 예상하고 컨슈머를 멱등하게 만들어야 합니다.
  • 변환은 복제보다 늦습니다. MM2는 해당 레코드가 복제된 뒤에야 오프셋을 변환할 수 있습니다. 페일오버를 촉발한 장애 중에 복제 지연이 급증하면 변환된 오프셋은 더 뒤처집니다.
  • 동기화하려면 그룹이 비활성 상태여야 합니다. MM2는 대상 클러스터에 활성 연결된 컨슈머 그룹의 오프셋을 덮어쓰지 않습니다. 양쪽 모두에 실시간 컨슈머를 붙인 채 페일오버를 테스트하는 팀이 흔히 당황하는 부분입니다.
  • 일방통행입니다. 체크포인트는 소스에서 대상으로만 흐릅니다. 복구에 성공한 뒤 원래 프라이머리로 페일백하려면 역방향 복제와 별도의 오프셋 변환 과정이 필요하므로, 페일백도 명시적으로 계획하고 테스트하십시오.
  • 스트림 프로세서는 추가 상태를 가집니다. Kafka Streams와 Apache Flink 작업은 내부 상태(changelog 토픽, Flink 체크포인트/세이브포인트)를 유지하며, 토픽 데이터뿐 아니라 이 상태도 일관되게 복구해야 합니다.

페일오버 후 각 컨슈머 그룹이 정확히 어디서 재개될지 말할 수 없다면, 아직 재해 복구 계획을 갖춘 것이 아니라 복제 파이프라인을 갖춘 것에 불과합니다.

Kafka 재해 복구 계획 수립 및 테스트

실효성 있는 Kafka 재해 복구 계획은 다섯 가지를 다룹니다.

  1. 범위와 목표치. 어떤 토픽과 컨슈머 그룹을 대상으로, 계층별 RPO/RTO를 얼마로 할지 정합니다. 플랫폼 팀만이 아니라 비즈니스 부서의 승인을 받아야 합니다.
  2. 복제 구성. MM2나 선택한 Kafka 서비스의 복제를 어떻게 구성할지 정합니다. 토픽 필터, 오프셋 동기화 주기, ACL 및 스키마 복제(Schema Registry를 잊지 마십시오. DR 사이트의 컨슈머에도 스키마가 필요합니다), 그리고 RPO에 연계한 알림 임계값을 갖춘 복제 지연 모니터링이 포함됩니다.
  3. 페일오버 런북. 정확하고 바로 실행 가능한 복구 절차입니다. 누가 결정하는지, 클라이언트를 어떻게 전환하는지(DNS, 서비스 디스커버리, 구성 배포), 오프셋을 어떻게 검증하는지, 복구 성공을 어떻게 확인하는지를 담습니다.
  4. 페일백 런북. 복제된 변경 사항을 어떻게 되돌려 보내고, 데이터 손실이나 대량 중복 없이 정상 상태로 돌아가는지를 정리합니다.
  5. 테스트 일정. 최소 분기마다 게임 데이를 진행합니다. 브로커 장애를 시뮬레이션하고, 가용 영역 하나를 중단시킨 뒤, 운영 환경과 유사한 트래픽으로 스테이징에서 전체 리전 페일오버를 리허설합니다. 실제로 달성한 RTO를 측정하고, 현실이 계획과 다를 때마다 문서를 갱신하십시오.

테스트하지 않은 DR은 실패합니다. 경험 많은 Kafka 운영자라면 잘못 구성된 토픽 필터 때문에 특정 토픽을 1년 내내 조용히 건너뛰다가 실제 장애가 나서야 발견된 미러링 파이프라인을 한 번쯤 본 적이 있을 것입니다.

클라우드의 매니지드 Kafka와 재해 복구

매니지드 플랫폼은 구현 방식을 바꿀 뿐 책임까지 가져가지는 않습니다. AWS에서는 MSK Replicator가 MSK를 위한 매니지드 리전 간 복제를 제공하며, 하이브리드 및 멀티 계정 토폴로지에서는 여전히 MirrorMaker 2가 주로 쓰입니다. Confluent는 Confluent Cloud 클러스터로 오프셋을 바이트 단위로 보존하며 데이터를 복제하는 Cluster Linking을 제공해 오프셋 변환 문제를 없애고, Confluent Cloud의 멀티 리전 옵션은 페일오버 과정의 상당 부분을 자동화할 수 있습니다. 모두 실질적으로 유용한 기능이지만, 어느 것을 쓰든 RPO/RTO를 정의하고, 클라이언트 전환을 연결하고, 런북을 리허설하는 일은 여전히 직접 해야 합니다. 매니지드 복제가 매니지드 복구를 의미하지는 않습니다.

이 글을 읽게 된 이유가 실시간 장애가 아니라 파티션 전략, 용량 산정, 보안 설계, 마이그레이션 같은 아키텍처 고민이라면, AceMQ의 Kafka 컨설팅이 전담 시니어 엔지니어를 배정해 드립니다.

이 글은 운영 환경에서 마주하는 순서대로 운영 의사 결정을 다루는 Kafka 운영 가이드의 열 단계 중 여덟 번째 단계입니다.

자주 묻는 질문

Kafka 클러스터의 재해 복구 전략으로 가장 많이 쓰이는 방식은 무엇인가요?

MirrorMaker 2를 사용한 액티브-패시브 클러스터 복제가 가장 일반적입니다. 토픽과 컨슈머 오프셋을 다른 리전의 대기 클러스터로 비동기 미러링하고, 사전에 리허설한 클라이언트 페일오버 절차를 함께 운영하는 방식입니다. 대부분의 워크로드에서 비용, 단순성, 안정적인 RPO/RTO 사이의 균형을 맞춰 줍니다.

Kafka 재해 복구로 데이터 손실을 0으로 만들 수 있나요?

가능합니다. 다만 동기 복제가 전제되어야 합니다. acks=all과 적절한 min.insync.replicas를 설정해 가용 영역에 걸쳐 구성한 스트레치 클러스터, 또는 사이트 간 동기 쓰기를 제공하는 플랫폼 기능이 필요합니다. Kafka MirrorMaker 2 같은 비동기 도구는 항상 복제 지연만큼의 RPO를 안고 있으므로, 비동기 미러링만으로는 데이터 손실 없는 페일오버를 보장할 수 없습니다.

Kafka 재해 복구 계획은 얼마나 자주 테스트해야 하나요?

최소 분기에 한 번, 그리고 Kafka 환경에 중요한 변경(버전 업그레이드, 새로운 핵심 토픽 추가, 토폴로지 변경)이 있을 때마다 테스트해야 합니다. 완전한 테스트에는 스테이징 환경에서의 리전 페일오버, 모든 핵심 컨슈머 그룹이 어디서 재개되는지에 대한 검증, 그리고 목표치와 비교한 실제 RTO 측정이 포함됩니다.

스트레치 클러스터가 미러링보다 비용이 더 들지 않나요?

반드시 그렇지는 않습니다. 스트레치 클러스터는 여러 사이트에 걸친 하나의 클러스터인 반면, 미러링은 완전한 클러스터 두 개와 복제 계층까지 운영해야 합니다. 스트레치 클러스터는 지연 시간과 네트워크 측면의 비용이 더 크고 고품질 링크가 필요하지만, 하드웨어와 운영 비용은 더 적을 수 있습니다. 실제 제약은 지연 시간 예산, 그리고 단일 리전 안의 스트레치 클러스터는 리전 전체 장애를 견디지 못한다는 점입니다.

MirrorMaker 2란 무엇이며 어떻게 작동하나요?

MirrorMaker 2는 Apache Kafka에 포함된 클러스터 간 복제 도구로, KIP-382에 정의되어 있으며 Kafka Connect 프레임워크를 기반으로 합니다. 소스 클러스터에서 데이터를 소비해 대상 클러스터로 생산하면서 토픽, 토픽 설정, 컨슈머 그룹과 그 오프셋, ACL을 복제합니다. 기본적으로 복제된 토픽은 소스 클러스터의 별칭을 접두사로 붙인 이름으로 바뀝니다. 예를 들어 us-west라는 클러스터의 orders 토픽은 대상 클러스터에서 us-west.orders가 됩니다. 이 명명 방식 덕분에 복제 루프 없이 액티브-액티브 구성이 가능하며, 페일오버 런북에서 컨슈머가 이름이 바뀐 토픽을 바라보도록 지정해야 하는 이유도 여기에 있습니다.

페일오버 시 컨슈머 오프셋은 어떻게 되나요?

MirrorMaker 2에서는 체크포인트가 일정 주기로 소스 클러스터의 컨슈머 그룹 오프셋을 대상 클러스터 기준으로 변환합니다. 페일오버하면 컨슈머는 마지막으로 변환된 체크포인트에서 재개하는데, 대개 실제 위치보다 조금 뒤이므로 일부 레코드가 재처리됩니다. 따라서 컨슈머는 멱등성을 갖춰야 하고, 오프셋 동기화 주기는 RPO보다 촘촘하게 튜닝해야 합니다. Confluent Cluster Linking은 오프셋을 바이트 단위로 그대로 보존하므로 변환 자체가 필요 없습니다. --- Kafka 재해 복구는 설치하는 제품이 아니라 Kafka 복원력을 위한 전략입니다. RPO와 RTO에 맞는 아키텍처를 고르고, 충분히 이해하는 도구로 데이터를 복제하고, 오프셋 동작을 철저히 확인하고, 페일오버가 지루하게 느껴질 때까지 테스트하십시오. 장애가 나고 나서야 빈틈을 발견해서는 안 됩니다. AceMQ는 시니어 엔지니어 온콜과 플랜에 따라 15분부터 시작하는 대응 목표를 갖춘 오픈소스 Kafka 24/7 엔터프라이즈 기술 지원을 제공합니다. DR 아키텍처 리뷰부터, 리전이 통째로 멈췄을 때 호출하는 팀이 되는 것까지 지원합니다. AceMQ의 Kafka 서비스를 살펴보거나 24/7 기술 지원을 받아 보십시오.

Scott Sternloff

저자

Scott Sternloff시니어 엔터프라이즈 아키텍트

AceMQ 시니어 엔터프라이즈 아키텍트. RabbitMQ, Kafka, Redis 아키텍처, 클러스터링, 마이그레이션 등 기술 분야 글을 씁니다.

가이드, 비교, 리서치

Kafka 더 깊이 알아보기

무료 상담

Kafka 클러스터, 전문가에게 점검받으세요

프로덕션 장애를 해결하는 중이든, 마이그레이션을 계획 중이든, 아키텍처에 대한 다른 의견이 필요하든 AceMQ 팀이 준비되어 있습니다. 영업 권유 없이 답만 드립니다.

이메일 문의