블로그Kafka

Kafka 리밸런스: 발생 원인과 리밸런스 폭주를 멈추는 방법

Scott Sternloff

작성: Scott Sternloff, 시니어 엔터프라이즈 아키텍트

LinkedIn · 업데이트: · 15분 분량

Kafka 리밸런스: 발생 원인과 리밸런스 폭주를 멈추는 방법
On this page

Kafka 리밸런스는 그룹 내 컨슈머 간에 파티션을 재분배하는 과정입니다. 컨슈머가 가입하거나, 탈퇴하거나, 죽은 것으로 판정되는 등 멤버십이 바뀔 때마다, 또는 구독 중인 토픽의 파티션 수가 바뀔 때 발생합니다. 정상적인 그룹은 가끔, 짧게 리밸런싱됩니다. 몇 분마다 리밸런싱되는 그룹은 설정에 문제가 있는 것이며, 그로 인한 일시 정지는 대개 브로커나 처리량 문제로 오인됩니다.

Kafka 리밸런싱 자체는 결함이 아닙니다. Apache Kafka가 컨슈머에게 파티션을 분배하고, 배포 규모가 커져도 작업을 고르게 나누는 방식입니다. Kafka 리밸런싱의 동작 원리를 이해해야 하는 이유는, 리밸런싱이 워크로드에 필요한 수준보다 훨씬 자주 일어날 때 문제가 생기기 때문입니다.

거의 모든 해결책이 클러스터 작업이 아니라 컨슈머 설정 변경이기 때문에, 메커니즘을 이해해 둘 가치가 있습니다.

Kafka 리밸런스는 무엇 때문에 발생할까?

원인은 네 가지이며, 의도된 것은 처음 두 가지뿐입니다.

새 컨슈머가 그룹에 가입합니다. 스케일 업이나 배포 후 파드가 시작되는 경우입니다. 예상된 동작으로, 새 컨슈머가 가입하면 코디네이터는 이미 실행 중인 컨슈머들과 함께 파티션을 다시 나눕니다.

컨슈머가 정상적으로 탈퇴합니다. 탈퇴 요청을 보내는 정상 종료입니다. 이 역시 예상된 동작입니다. 컨슈머가 가입하거나 탈퇴할 때마다 재분배가 뒤따릅니다.

컨슈머가 죽은 것으로 판정됩니다. 문제는 여기서 생깁니다. 그룹 코디네이터는 컨슈머가 사라졌다고 판단하는 즉시 리밸런스를 시작하며, 이는 다음 두 타이머 중 하나가 만료될 때 일어납니다.

  • session.timeout.ms(기본값 45초). 컨슈머는 백그라운드 스레드에서 heartbeat.interval.ms(기본값 3초)마다 하트비트를 보냅니다. 하트비트를 일정 횟수 이상 놓치면 코디네이터가 컨슈머를 축출합니다. 실제 크래시, 네트워크 분단, 긴 GC 일시 정지를 잡아내는 장치입니다.
  • max.poll.interval.ms(기본값 5분). 메인 스레드에서 연속된 poll() 호출 사이의 간격입니다. 하트비트는 백그라운드 스레드에서 계속 전송되므로 컨슈머는 살아 있는 것처럼 보이지만, 애플리케이션이 배치를 처리하는 데 너무 오래 걸리면 코디네이터는 결국 컨슈머를 축출합니다.

운영 환경에서 원인을 알 수 없는 리밸런스는 대부분 두 번째 타이머 때문입니다. 컨슈머가 크래시한 것이 아니라 단지 느리게 처리하고 있을 뿐이며, Kafka는 느린 컨슈머와 멈춘 컨슈머를 구분하지 못합니다.

파티션 수가 바뀝니다. Kafka 토픽에 새 파티션이 추가되면 재할당이 뒤따릅니다. 구독 변경도 마찬가지입니다.

뒤의 두 가지는 피하고 싶은 리밸런스 이벤트입니다. Kafka 리밸런스는 원인과 관계없이 같은 비용이 들며, 불필요한 리밸런스가 정상 동작하던 컨슈머 그룹을 멈춰 세웁니다.

Kafka 리밸런스 중에는 실제로 무슨 일이 일어날까?

그룹의 모든 컨슈머가 소비를 멈추고, 그룹에 재가입해야 하며, 재개하기 전까지 기다립니다. 그룹 리더(Kafka 브로커가 아니라 컨슈머 중 하나)가 그룹 코디네이터에 요청을 보내고, 파티션 할당을 계산해 결과를 배포합니다. 파티션은 먼저 회수된 뒤 다시 배분되며, 어떤 컨슈머가 어떤 파티션을 맡게 될지는 매 라운드마다 달라질 수 있습니다.

중요한 특성은 이것이 동기화 장벽이라는 점입니다. 컨슈머 그룹의 모든 컨슈머가 함께 움직이고, 가장 느린 멤버가 속도를 결정합니다. 컨슈머 하나가 재가입하는 데 30초가 걸리면 그룹 전체가 30초를 기다립니다. 리밸런싱 과정 동안에는 메시지 처리가 전혀 일어나지 않으므로, Kafka 클러스터의 모든 브로커가 정상이더라도 백로그가 쌓이고 랙이 증가합니다.

리밸런스와 랙이 자주 혼동되는 이유가 여기에 있습니다. 랙을 일으키는 리밸런스가 아니라 늘어나는 랙 자체를 쫓고 있다면, 증상 측면은 Kafka 컨슈머 랙 진단하기에서 다룹니다.

eager 리밸런싱과 cooperative 리밸런싱

Kafka 리밸런스 프로토콜에는 두 세대가 있으며, 어느 쪽을 쓰느냐에 따라 매 리밸런스의 비용이 크게 달라집니다.

eager 리밸런싱은 원래의 전체 정지(stop-the-world) 방식입니다. 새 할당이 계산되기 전에 모든 컨슈머가 할당받은 파티션을 전부 회수합니다. 200개 중 2개 파티션만 옮기는 재할당이라도 모든 것이 멈춥니다. 정지 시간은 실제 변경량이 아니라 그룹 규모와 재가입 시간에 비례합니다.

점진적(incremental) 리밸런싱은 실제로 이동하는 파티션만 회수합니다. 컨슈머는 계속 보유하는 파티션을 끊김 없이 처리합니다. cooperative 리밸런싱 프로토콜은 무거운 한 라운드 대신 가벼운 두 라운드로 진행되므로, 리밸런싱의 영향은 멤버 수가 아니라 변경 규모에 비례합니다. 대부분의 환경은 이 incremental cooperative 방식을 사용해야 합니다.

이 방식은 Kafka 2.4부터 제공되었지만, 오래된 Kafka 클라이언트에서는 기본값이 아닌 경우가 있습니다. 정적 멤버십은 조금 더 이른 Kafka 2.3에 도입되었습니다. 전환은 한 줄이면 됩니다.

partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignor

⚠️ 이 값만 바꿔서 바로 배포하지 마십시오. eager에서 cooperative로 전환하려면 2단계 롤링 업그레이드가 필요합니다. 먼저 그룹이 합의할 수 있도록 두 전략을 모두 나열해 배포하고, 두 번째 배포에서 eager 전략을 제거합니다. 실행 중인 그룹에서 한 번에 바꾸면 리밸런스가 실패합니다.

최신 릴리스는 한 걸음 더 나아갑니다. 새로운 컨슈머 리밸런스 프로토콜은 할당 계산을 브로커로 옮기고 전역 동기화 장벽을 완전히 없애므로, 더 이상 모든 컨슈머가 함께 멈추지 않습니다. 이 새 프로토콜은 Apache Kafka 4.0에서 정식 출시(GA)되었습니다. 최신 릴리스를 사용 중이라면 검토해 볼 만하지만, 대부분의 운영 환경은 아직 그 단계에 이르지 않았으며, 현재로서는 sticky 할당자만으로도 효과의 대부분을 얻을 수 있습니다.

모든 컨슈머를 멈추는 eager 리밸런싱과 영향받는 파티션만 옮기는 incremental cooperative 리밸런싱 비교

파티션 할당 전략

할당자동작리밸런스 비용
RangeAssignor토픽별로 연속된 범위 할당eager. 여러 토픽에 걸쳐 고르지 않게 분배될 수 있음
RoundRobinAssignor모든 파티션에 걸쳐 균등 분배eager. 전부 재할당
StickyAssignor균등 분배, 가능한 한 이전 할당 유지eager이지만 이동하는 파티션이 적음
CooperativeStickyAssignorsticky 방식, 이동하는 파티션만 회수점진적(incremental). 선택해야 할 할당자

sticky 특성은 정지 시간 이상의 의미가 있습니다. 컨슈머가 리밸런스 후에도 같은 토픽 파티션을 유지하면 캐시, 진행 중인 집계, Kafka Streams 상태 저장소 같은 로컬 상태를 그대로 쓸 수 있습니다. 불필요하게 재배치하면 이 상태를 버리게 되고, 그 복구 비용이 리밸런스 자체보다 큰 경우가 많습니다.

Spring Kafka 같은 프레임워크 래퍼를 사용하더라도 같은 하위 속성으로 설정합니다. 프레임워크를 쓴다고 사용할 수 있는 전략이 달라지지는 않습니다.

range, round robin, sticky, cooperative sticky 할당자를 비교한 Kafka 파티션 할당 전략 표

Kafka 리밸런스 폭주: 스스로 회복되지 않는 이유

고객들이 저희를 찾게 되는 리밸런싱 문제는 거의 항상 같은 형태를 띱니다.

  1. 처리가 느려집니다. 다운스트림 API의 성능이 떨어지거나 배치가 커집니다.
  2. 한 컨슈머가 max.poll.interval.ms를 초과해 축출됩니다.
  3. 그룹이 리밸런싱됩니다. 모두가 멈춥니다.
  4. 정지 시간 동안 백로그가 늘어납니다.
  5. 재개되면 각 컨슈머가 더 커진 백로그에서 꽉 찬 배치를 가져오고, 처리하는 데 더 오래 걸립니다.
  6. 또 다른 컨슈머가 간격을 초과합니다. 3단계로 돌아갑니다.

클러스터 자체는 정상인데 데이터 처리량이 무너집니다.

새로운 Kafka 리밸런스가 일어날 때마다 다음 리밸런스의 가능성이 높아지므로 스스로 회복되지 않습니다. 바로 이 때문에 팀들은 컨슈머 설정이 아니라 클러스터를 조사하기 시작합니다.

이 고리를 끊는 방법은 대개 배치가 간격 안에 끝나도록 만드는 것입니다.

  • max.poll.records를 줄입니다. 단일 변경으로는 가장 효과적입니다. poll당 레코드가 적을수록 poll 사이의 시간이 줄어듭니다. 먼저 절반으로 줄여 보십시오.
  • max.poll.interval.ms를 올려 평균이 아니라 최악의 처리 시간을 확실히 넘도록 합니다. 추정하지 말고 p99를 측정하십시오.
  • 느린 작업을 polling 스레드 밖으로 옮깁니다. 처리 과정에 소요 시간을 예측할 수 없는 네트워크 호출이 있다면, poll 루프는 그 작업을 둘 곳이 아닙니다.
  • 이 문제를 해결하려고 session.timeout.ms를 늘리지 마십시오. 다른 타이머이므로 도움이 되지 않으며, 실제로 죽은 컨슈머의 감지만 늦출 뿐입니다.
느린 처리가 max.poll.interval.ms를 초과해 리밸런스를 일으키고, 백로그가 늘어나 추가 리밸런스로 이어지는 피드백 루프 다이어그램

정적 멤버십

컨슈머가 일상적으로 재시작되는 환경, 대표적으로 Kubernetes의 롤링 배포에서는 이 기능으로 재시작이 리밸런스를 일으키지 않도록 할 수 있습니다.

각 컨슈머에 고정된 group.instance.id를 할당합니다. 타임아웃 시간 안에 재시작하면 코디네이터가 돌아온 멤버를 알아보고, 아무것도 재분배하지 않은 채 이전 파티션을 돌려줍니다.

group.instance.id=consumer-3
session.timeout.ms=45000

트레이드오프는 분명합니다. 실제로 죽은 멤버는 세션이 타임아웃될 때까지 교체되지 않으므로, 그 시간 동안 해당 파티션은 소비되지 않습니다. 활성화하기 전에 재시작 시 리밸런싱이 필요한지 판단하십시오. 타임아웃은 롤링 재시작 시간을 넉넉히 넘기되 그 이상은 되지 않도록 설정합니다.

시작 시점에 알아 둘 만한 브로커 측 설정도 있습니다. group.initial.rebalance.delay.ms(기본값 3초)는 첫 리밸런스 전에 코디네이터가 잠시 기다리게 하여, 함께 시작하는 컨슈머들이 하나씩 도착할 때마다 리밸런싱하지 않고 한 번에 그룹을 구성하도록 합니다. 작은 설정이지만 Kubernetes 배포에서 많은 잡음을 없애 줍니다.

모니터링할 항목

세 가지를, 반드시 함께 살펴보십시오.

  • 리밸런스 빈도. 신호 그 자체입니다. 가끔 발생하는 수준을 넘는다면 조사해야 하며, 리밸런스 루프에 갇힌 컨슈머가 가장 먼저 드러나는 곳입니다.
  • 리밸런스 소요 시간. 소요 시간이 늘어난다면 컨슈머의 재가입이 느리다는 뜻이며, 대개 리밸런스를 일으킨 바로 그 느린 처리가 원인입니다.
  • 리밸런스 중 컨슈머 랙. 정지 시간이 실제로 처리량을 깎아 먹고 있는지, 아니면 무시해도 될 만큼 짧은지 확인해 줍니다.

배포 전후로 하루에 몇 번 Kafka 리밸런스가 일어나는 컨슈머 그룹은 괜찮습니다. 몇 분마다 리밸런싱되는 그룹은 max.poll.interval.ms를 초과하고 있다는 신호이며, 클러스터를 아무리 튜닝해도 달라지지 않습니다.

리밸런스 폭주나 원인 모를 컨슈머 정지를 겪고 계십니까? 이런 문제는 거의 항상 클러스터가 아니라 컨슈머

설정에 있습니다. 그래서 처리량이 무너지는 동안에도 브로커 지표는 깨끗해 보입니다.

AceMQ는 이런 문제를 찾아내는 체계적인 Kafka 진단을 수행합니다.

이 모든 지식을 한 사람이 쥐고 있다면, 그것은 Kafka가 아니라 인력 운영의 위험입니다. Kafka를 자체 지원할 때 실제로 드는 비용을 참고하십시오.

실무에서의 cooperative 리밸런싱: 확인 방법, 전환 방법, Streams와 Connect의 동작

range, round-robin, 그리고 기존 sticky 할당자는 모두 eager 프로토콜을 사용합니다. 멤버십이 바뀌면 코디네이터가 그룹을 PreparingRebalance 상태로 전환하고, 모든 컨슈머가 소유한 파티션을 전부 회수한 뒤 다시 가입하며, 리더가 새 할당을 배분합니다. 이 왕복 동안 그룹 전체가 멈춥니다.

Kafka 2.4에서 컨슈머용 cooperative 리밸런싱이 도입되었습니다. incremental cooperative 프로토콜에서는 리밸런스가 두 단계로 진행됩니다. 첫 단계에서 리더가 새 할당을 계산하고, 각 컨슈머는 자신에게서 떠나는 파티션만 회수하며 나머지 파티션에서는 계속 poll과 커밋을 수행합니다. 곧바로 두 번째 리밸런스가 이어져, 비워진 파티션이 새 소유자에게 넘어갑니다. 이 프로토콜을 사용하는 클라이언트 측 할당자는 CooperativeStickyAssignor뿐입니다.

저희가 지원 요청을 받는 그룹의 대부분은 자신도 모르게 eager로 동작하고 있습니다. 먼저 컨슈머 설정을 확인하십시오. partition.assignment.strategy는 목록이며, 최신 클라이언트의 기본 목록에는 range와 cooperative-sticky가 모두 들어 있습니다. 코디네이터는 모든 멤버가 지원하는 전략 하나를 선택하므로, 기본값으로는 range가 선택됩니다. 다음으로 그룹을 조회해 코디네이터가 실제로 무엇을 선택했는지 확인합니다.

kafka-consumer-groups.sh --bootstrap-server broker:9092 \
  --describe --group orders-svc --state

ASSIGNMENT-STRATEGY 열에 range 또는 cooperative-sticky가 표시됩니다. range라면 재시작할 때마다 여전히 전체 정지가 일어난다는 뜻입니다.

운영 중인 그룹을 전환하려면 롤링 재시작이 두 번 필요하며, 순서가 중요합니다. 첫 번째에는 partition.assignment.strategy를 현재의 eager 할당자 다음에 CooperativeStickyAssignor가 오도록 설정합니다. 구 인스턴스와 신 인스턴스가 섞여 있는 동안 eager가 계속 선택되도록 eager를 앞에 둡니다. 두 번째에는 eager 할당자를 제거합니다. 한 번에 바꾸면, 재시작 도중 가입한 멤버가 다른 멤버들과 공통된 전략을 찾지 못해 리밸런스가 오류로 끝납니다.

Kafka Streams 애플리케이션은 자체 할당자를 통해 이미 cooperative 프로토콜로 동작하므로 따로 설정할 것이 없습니다. Kafka Connect 워커는 connect.protocol로 제어되는 별도의 incremental cooperative 프로토콜로 커넥터와 태스크를 분산하며, 모든 워커가 지원하면 기본값으로 이 프로토콜이 활성화됩니다.

트레이드오프는 작습니다. cooperative 리밸런스는 한 번이 아니라 두 번의 리밸런스이므로 전체적으로 약간 더 오래 걸리고, 이동하는 파티션은 그동안 할당되지 않은 상태로 남습니다. 그 대가로 이동하지 않는 파티션은 결코 멈추지 않습니다. 선택한 파티션 수는 작업을 나눌 수 있는 컨슈머 수의 상한이 되며, 이에 대해서는 파티션 전략 가이드에서 다룹니다.

REBALANCE_IN_PROGRESS(rejoin needed) 오류와 "preparing rebalance" 루프 해결하기

"The group is rebalancing, so a rejoin is needed"는 REBALANCE_IN_PROGRESS 오류 코드에 붙는 메시지입니다. 코디네이터는 요청에 담긴 세대(generation)가 더 이상 최신이 아닌 컨슈머에게 이 메시지를 반환하며, 대부분 그룹이 PreparingRebalance로 전환된 뒤 전송된 하트비트, sync, 오프셋 커밋이 해당됩니다. 이 메시지 자체는 결함이 아닙니다. 클라이언트가 재가입하면 그룹은 안정됩니다. 문제가 되는 것은 몇 초마다 반복되고, 그룹이 끝내 Stable에 도달하지 못하며, 랙이 증가할 때입니다. 코디네이터 브로커에는 이에 대응하는 "Preparing to rebalance group ... (reason: ...)" 로그가 남으며, 그 reason 필드가 다음 중 어느 경우인지 가장 빨리 알려 줍니다.

1. max.poll.interval.ms 초과. 컨슈머는 살아 있지만 poll 사이에 너무 오래 걸려 제외되었습니다. 확인: 컨슈머 로그에 "consumer poll timeout has expired"가 있고, 브로커의 reason에 멤버 탈퇴가 기록됩니다. 해결: 최악의 배치 처리 시간이 간격 안에 들어올 때까지 max.poll.records를 낮추고, 그래도 p99가 들어오지 않을 때만 max.poll.interval.ms를 올립니다.

2. GC 일시 정지나 네트워크에 비해 너무 낮은 session.timeout.ms. 하트비트 스레드가 멈추거나 패킷이 지연되어 멤버가 축출됩니다. 확인: 브로커의 reason이 "heartbeat expiration"이고, GC 로그에 타임아웃에 가까운 일시 정지가 보이며, poll 타임아웃 메시지는 없습니다. 해결: 브로커의 group.max.session.timeout.ms 범위 안에서 session.timeout.ms를 올리고, 일시 정지 자체를 해결합니다. 같은 JVM의 프로듀서에도 관련 증상이 나타나며, 프로듀서 타임아웃의 원인과 해결에서 다룹니다.

  • 3. 컨슈머 스케일링 루프. 랙이 늘면 오토스케일러가 레플리카를 추가하고, 랙이 줄면 제거하고, 랙이 다시 늘어납니다. 스케일 이벤트마다 리밸런스가 일어납니다. 확인: --members로 그룹을 조회하면 멤버 수가 분 단위로 바뀌고 배포 이벤트와 시점이 일치합니다. 해결: 스케일 다운 안정화 기간을 추가하고, 레플리카 수를 파티션 수로 제한하며, 원시 랙보다 완만한 신호를 기준으로 스케일링합니다. 랙을 올바르게 측정하는 방법은 컨슈머 랙 가이드에 있습니다.
  • 4. 정적 멤버십 미사용. group.instance.id가 없으면 파드 10개의 롤링 배포는 탈퇴 10번과 가입 10번이 됩니다. 설정되어 있으면 세션 타임아웃 안에 돌아온 파드는 리밸런스 없이 이전 할당을 이어받습니다. 확인: --members --verbose에서 재시작할 때마다 바뀌는 자동 생성 멤버 ID가 보입니다. 해결: 파드마다 고정된 인스턴스 ID를 설정합니다.
  • 5. 코디네이터 또는 브로커 변경. 그룹을 호스팅하는 __consumer_offsets 파티션이 다른 브로커로 옮겨져 그룹이 다시 로드되었고, 모든 멤버가 코디네이터를 다시 찾아 재가입해야 했습니다. 확인: 새 브로커의 로그에 "Loading group metadata"가 있고, 시점이 재시작이나 리더 선출과 일치합니다. 해결: 클라이언트에서 할 일은 없습니다. 브로커 재시작 한 번에 리밸런스 한 번은 예상된 동작이며, 코디네이터 이동이 반복된다면 클러스터 자체가 불안정하다는 뜻입니다.

이런 루프의 대부분을 끝내는 세 가지 속성입니다.

max.poll.records=100
group.instance.id=orders-svc-${POD_ORDINAL}
partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignor

저희는 24/7 Kafka 기술 지원을 통해 플랜에 따라 15분부터 시작하는 대응 목표와 함께 엔터프라이즈 고객에게 이러한 해결책을 적용하고 있으며, Kafka 컨설팅 프로젝트에서는 처음부터 이런 방식으로 그룹을 설계합니다.

이 글은 Kafka 운영 가이드의 10단계 중 4단계로, 운영 환경에서 의사 결정이 필요한 순서대로 운영 과제를 다룹니다.

자주 묻는 질문

Kafka 컨슈머 그룹 리밸런스는 무엇 때문에 발생하나요?

컨슈머가 가입하거나, 정상적으로 탈퇴하거나, 그룹 코디네이터에 의해 죽은 것으로 판정될 때 발생합니다. 죽은 것으로 판정되는 경우는 session.timeout.ms를 넘도록 하트비트가 끊기거나, poll 간격이 max.poll.interval.ms를 초과할 때입니다. 구독 중인 토픽의 파티션 수가 바뀌어도 리밸런스가 발생합니다.

리밸런싱이 지연과 백로그를 일으키는 이유는 무엇인가요?

리밸런싱은 동기화 장벽이기 때문입니다. 그룹이 재가입하고 새 할당을 기다리는 동안 컨슈머는 소비를 멈추므로, 가장 느린 멤버가 전체의 정지 시간을 결정합니다. 그 사이에는 아무것도 처리되지 않고 랙이 쌓입니다.

Kafka의 cooperative 리밸런싱이란 무엇인가요?

실제로 소유자가 바뀌는 파티션만 회수하고, 나머지는 컨슈머가 계속 처리하도록 하는 점진적(incremental) 프로토콜입니다. eager 리밸런싱은 이동하는 양이 아무리 적어도 모든 컨슈머에게서 모든 파티션을 회수합니다.

잦은 Kafka 리밸런스는 어떻게 멈추나요?

어느 타이머가 만료되고 있는지부터 확인하십시오. 배치 처리가 너무 오래 걸린다면 max.poll.records를 낮추고 max.poll.interval.ms를 최악의 경우보다 높게 올립니다. 재시작이 원인이라면 정적 멤버십을 사용합니다. 그런 다음 cooperative sticky 할당자로 전환해 남은 리밸런스의 비용을 줄입니다.

정적 그룹 멤버십(static group membership)이란 무엇인가요?

컨슈머별로 고정된 group.instance.id를 부여해, 재시작한 멤버가 세션 타임아웃 안에 돌아오면 코디네이터가 이를 알아보고 리밸런스 없이 이전 파티션을 돌려주도록 하는 방식입니다.

어떤 파티션 할당 전략을 사용해야 하나요?

대부분의 워크로드에는 CooperativeStickyAssignor입니다. 파티션 이동과 리밸런스로 인한 중단을 모두 최소화합니다. 설정을 한 번에 바꾸지 말고 두 번의 롤링 배포에 걸쳐 전환하십시오.

파티션을 추가하면 Kafka 리밸런스가 발생하나요?

네. 구독 중인 토픽의 파티션 수를 늘리면 그룹이 재할당되므로, 파티션 변경은 일상 작업이 아니라 계획된 작업으로 다루어야 합니다.

Kafka 리밸런스는 브로커 간 파티션 재할당과 같은 것인가요?

아닙니다. 같은 용어를 쓰다 보니 실제로 혼동이 많습니다. 컨슈머 그룹 리밸런스는 컨슈머 간에 파티션을 재분배하는 것입니다. 파티션 레플리카를 브로커 간에 옮기는 것은 파티션 재할당(partition reassignment)으로, 도구도 위험도 다른 별개의 클러스터 작업입니다.

Kafka 컨슈머 그룹이 계속 리밸런싱되는 이유는 무엇인가요?

저희 경험상 원인은 빈도순으로 다음과 같습니다. poll 배치 처리 시간이 max.poll.interval.ms보다 긴 경우, session.timeout.ms가 JVM의 GC 일시 정지나 네트워크 상황에 비해 너무 짧은 경우, 오토스케일러가 컨슈머를 추가하고 제거하기를 반복하는 경우, 컨슈머가 group.instance.id 없이 재시작되어 배포할 때마다 탈퇴와 가입이 일어나는 경우, 또는 그룹 코디네이터가 다른 브로커로 옮겨진 경우입니다. 코디네이터 브로커의 "Preparing to rebalance group" 로그 줄에 있는 reason 필드를 보면 어느 쪽인지 알 수 있습니다. --state로 그룹을 조회해 Stable 상태에 도달하는지 확인하십시오.

Kafka 리밸런스로 인한 다운타임은 어떻게 막나요?

세 가지 설정으로 대부분의 문제가 해결됩니다. 2회 롤링 재시작 방식의 마이그레이션으로 그룹을 CooperativeStickyAssignor로 전환하면 이동하는 파티션만 일시 정지됩니다. 각 컨슈머에 고정된 group.instance.id를 부여하면 세션 타임아웃 안의 재시작은 리밸런스를 전혀 일으키지 않습니다. max.poll.records에 상한을 두면 느린 배치 때문에 정상 컨슈머가 축출되는 일이 없습니다. 그런 다음 근본 원인인 잦은 변동을 막습니다. 오토스케일링을 안정화하고 레플리카 수를 파티션 수 이하로 유지하십시오. 잘 구성된 그룹이라면 의도적으로 규모를 바꿀 때만 리밸런싱되어야 합니다.

참고 자료

Scott Sternloff

저자

Scott Sternloff시니어 엔터프라이즈 아키텍트

AceMQ 시니어 엔터프라이즈 아키텍트. RabbitMQ, Kafka, Redis 아키텍처, 클러스터링, 마이그레이션 등 기술 분야 글을 씁니다.

가이드, 비교, 리서치

Kafka 더 깊이 알아보기

무료 상담

Kafka 클러스터, 전문가에게 점검받으세요

프로덕션 장애를 해결하는 중이든, 마이그레이션을 계획 중이든, 아키텍처에 대한 다른 의견이 필요하든 AceMQ 팀이 준비되어 있습니다. 영업 권유 없이 답만 드립니다.

이메일 문의