Kafka

Kafka 프로듀서 타임아웃의 실제 원인은 무엇이며, 어떻게 해결할까요?

Scott Sternloff

작성: Scott Sternloff, 시니어 엔터프라이즈 아키텍트

LinkedIn · 업데이트:

PRODUCERproducer-1CONTROLLERleaderBROKER 2BROKER 3TIMEOUTController/Broker Contention
이 페이지의 내용

org.apache.kafka.common.errors.TimeoutException: Expiring N record(s)는 운영 환경에서 가장 흔한 Kafka 오류 중 하나이자, 가장 자주 오진되는 오류 중 하나입니다. 실제 원인은 브로커 측, 특히 클러스터의 컨트롤러와 브로커 역할이 어떻게 배치되어 있는지에 있는데도, 팀들은 흔히 프로듀서 측 구성 변경(request.timeout.ms 상향, retries 증가)부터 손댑니다.

이 글에서는 실제 진단 사례를 따라가 봅니다. 5노드 물리 Kafka 클러스터에서 프로듀서 타임아웃이 잦았던 사례로, 확인된 근본 원인과 실제로 적용한 해결책을 정리합니다.

Kafka 프로듀서 타임아웃의 가장 흔한 실제 원인은 무엇인가요?

같은 노드에서 컨트롤러와 브로커 역할이 경합하는 것입니다.

KRaft 모드 클러스터(ZooKeeper 이후 Kafka의 아키텍처)에서는 모든 노드를 브로커와 컨트롤러를 겸하는 결합 역할로 구성할 수도 있고, 두 역할을 전용 노드로 분리할 수도 있습니다. 모든 노드가 두 역할을 모두 수행하면(소규모 클러스터나 계획 없이 커진 클러스터에서 흔합니다), 모든 노드에서 컨트롤러 프로세스와 브로커 프로세스가 항상 같은 CPU와 메모리를 놓고 경쟁합니다.

실제 사례에서, 모든 노드를 브로커+컨트롤러 결합 역할로 구성한 5노드 Kafka 클러스터에 프로듀서 타임아웃이 발생했습니다. 원인을 추적해 보니 컨트롤러 리더 역할을 하던 노드에 활성 연결이 과도하게 몰려 브로커 수준의 경합이 생기고 있었습니다. AceMQ의 Kafka 전문 엔지니어(SME)는 이렇게 직접 진단했습니다. "지금 말씀하신 대로 컨트롤러와 브로커를 같은 물리 서버에 두고 있으니, 둘이 메모리와 CPU를 놓고 늘 경쟁하고 있고, 그 때문에 로깅에 지연이 생깁니다. 서로 업데이트하려고 경쟁하니 처리해야 하는 메타데이터에도 문제가 생기고요. 둘을 분리하십시오."

복제 팩터가 문제에 영향을 주는지 어떻게 알 수 있을까요?

복제 팩터가 클러스터 규모와 실제 내구성 요구에 비례하는지 확인하십시오. 과도한 복제는 실제로 측정 가능한 오버헤드를 만듭니다.

같은 진단 사례에서 클러스터는 5노드 물리 클러스터에 복제 팩터 4로 운영되고 있었습니다. 직접적인 평가는 이랬습니다. "5노드 물리 클러스터에 복제 팩터 4는 과합니다. 중복 수준은 높지만 그만큼 대가가 큽니다. 특히 다섯 노드에 걸친 토픽 분포를 생각하면 더 그렇습니다. 지금의 데이터 볼륨이라면 반드시 3으로 낮추시길 권합니다."

복제 팩터가 특히 프로듀서 타임아웃에 중요한 이유: 생성된 모든 메시지는 필요한 수의 ISR(in-sync replica)이 확인 응답을 보내야(acks와 min.insync.replicas 설정으로 결정) 프로듀서가 확인을 받습니다. 복제 팩터가 높을수록 확인이 돌아오기 전에 더 많은 레플리카가 쓰고 응답해야 합니다. 그런데 이 레플리카 쓰기가 같은 노드에서 컨트롤러 역할의 CPU/메모리 경합과 맞물리면, 그 조합이 프로듀서에서 보이는 타임아웃으로 증폭됩니다.

경험칙: 운영 Kafka의 표준 내구성 기준은 복제 팩터 3입니다. 4 이상으로 올리는 것은 기본값이 아니라, 입증된 내구성 요건에 근거한 의도적인 결정이어야 합니다.

Kafka 컨트롤러를 브로커와 분리해야 할까요?

결합 역할로 운영하면서 프로듀서 측 지연이나 타임아웃 문제를 겪고 있다면 분리해야 합니다. 가장 효과가 큰 아키텍처 변경 중 하나입니다.

같은 진단 사례에서 나온 직접적인 권고는 이렇습니다. "지금은 운영 환경이니… 컨트롤러를 하나 더 들여서 컨트롤러를 따로 두고, 브로커 쪽은 최소 3노드를 유지하십시오." 클러스터 전체를 다시 구축할 필요는 없습니다. 전용 컨트롤러 노드를 추가하고 기존 노드를 브로커 전용 역할로 재구성해, 클러스터의 모든 노드에서 CPU/메모리 경합을 줄이는 것입니다.

실무적인 전환 절차:

  1. 새 노드를 프로비저닝하거나 기존 노드를 전용 컨트롤러로 전환합니다
  2. 나머지 노드를 브로커 전용 역할로 재구성합니다
  3. 운영 환경의 내구성을 위해 브로커 노드를 최소 3대 유지합니다
  4. 전환 완료를 선언하기 전에 클러스터 상태와 재선출 동작을 검증합니다

프로듀서 타임아웃을 줄이는 다른 구성 변경은 무엇일까요?

같은 실제 해결 과정에는 두 가지 튜닝 수단이 더 포함되었습니다.

Kafka I/O 스레드 설정을 늘리십시오. 구체적인 권고는 현재 스레드 설정(num.io.threads 또는 이에 상응하는 네트워크/IO 스레드 구성)을 두 배로 늘리는 것이었습니다. 아키텍처를 바꾸지 않고도 부하 상황의 처리량 병목을 직접 해소할 수 있습니다.

리더 재선출과 파티션 재할당 변동을 모니터링하십시오. 컨트롤러 재선출이 잦거나 계획에 없던 리더십 이동이 일어나면 클러스터가 재편되는 동안 프로듀서 트래픽이 멈춥니다. 진단 당시 설명은 이랬습니다. "여기 이 두 가지를 보십시오. 불안정성을 가늠하기 좋은 지표입니다. 어떻게 동작하는지, 재선출을 해야 하는지, 계속 이것저것 옮겨야 하는지 알 수 있습니다. 옮길 때마다 모든 게 멈추고 해당 토픽이 느려지거든요." 리더 선출 비율과 파티션 재할당 빈도를 장애 때만이 아니라 상시 지표로 지켜보면, 같은 경합 패턴이 재발할 때 미리 경고를 받을 수 있습니다.

그렇다면 프로듀서 타임아웃이 실제로 프로듀서 구성 문제인 경우는 없나요?

아닙니다. 프로듀서 측 구성도 충분히 근본 원인이 될 수 있으며, 초기에 원인 여부를 가려 둘 가치가 있습니다.

  • 실제 네트워크와 브로커 응답 특성에 비해 지나치게 낮게 설정한 request.timeout.ms
  • retries와 함께 쓰인 max.in.flight.requests.per.connection으로 메시지 순서가 뒤바뀌는 문제가 생기고, 이것이 겉보기 타임아웃으로 증폭되는 경우
  • 처리량 패턴에 맞지 않게 구성된 batch.size와 linger.ms로 프로듀서가 전송 전에 메시지를 예상보다 오래 붙잡고 있는 경우
  • 프로듀서 측 버퍼 메모리(buffer.memory) 부족으로 발생한 BufferExhaustedException을 타임아웃으로 잘못 읽는 경우

여기서 중요한 진단 원칙은 실제 병목이 아닐 수도 있는 프로듀서 클라이언트 구성 튜닝에 시간을 쓰기 전에 브로커 측 상태와 컨트롤러/브로커 분리 여부부터 확인하는 것입니다. 실제 배포에서는 그쪽이 더 흔한 근본 원인이기 때문입니다.

플랜에 따라 15분부터 시작하는 대응 목표. 전담 시니어 엔지니어.

문의하기

SSL/TLS 변경은 어떤가요? 그것이 타임아웃의 원인일 수 있을까요?

업그레이드 도중이거나 최근에 TLS 구성을 바꾼 뒤 타임아웃이 보이기 시작했다면 TLS와 무관하다고 단정하지는 마십시오. 하지만 해결되지 않은 컨트롤러/브로커 경합이 있다면 TLS가 주원인이라고 가정해서도 안 됩니다.

같은 사례에서 고객은 최근 SSL 인증서 변경을 시도했다가 실패해 롤백해야 했고, 이와 별도로 프로듀서 타임아웃을 보고했습니다. 작업 순서에 대한 가이드는 명확했습니다. 복제 팩터와 컨트롤러/브로커 분리를 먼저 해결하라는 것입니다. "지금은 SSL은 보지 마시고… 복제를 3으로 낮추고, 브로커를 추가해서 분리한 다음, 성능이 어떤지 보십시오… 저라면 Kafka 4로 넘어가기 전까지는 TLS/SSL 작업을 시도하지 않겠습니다." 이미 부하가 걸린 클러스터에 인증서 교체 같은 추가 변경을 더하기 전에, 클러스터의 핵심 아키텍처부터 안정화하십시오.

직접 해결해야 할까요, 전문가 리뷰가 필요할까요?

여기서 다룬 진단 패턴, 즉 복제 팩터, 컨트롤러/브로커 토폴로지, 스레드 구성, 재선출 빈도는 Kafka 운영 경험이 탄탄한 팀이라면 직접 다룰 수 있습니다. 하지만 이 사례가 전문가 리뷰로 넘어온 이유는 흔한 것입니다. 다양한 Kafka 토폴로지를 클러스터 수준에서 진단해 본 경험이 없으면 증상(프로듀서 타임아웃)에서 원인(컨트롤러/브로커 경합)이 쉽게 보이지 않기 때문입니다.

프로듀서 타임아웃이 발생하고 있고 명백한 네트워크 문제는 이미 배제했다면, 근본 원인에 가장 빨리 도달하는 길은 대개 프로듀서 클라이언트 설정을 하나씩 조금씩 튜닝하는 것이 아니라, 클러스터의 역할 토폴로지, 복제 구성, 재선출 지표를 체계적으로 리뷰하는 것입니다.

Kafka 프로듀서 타임아웃 문제에 관한 도움 받기

운영 환경에서 Kafka 프로듀서 타임아웃을 겪고 계신가요? 클러스터 아키텍처 리뷰가 필요하시면 AceMQ에 문의하십시오. 컨트롤러 경합인지, 복제 오버헤드인지, 아니면 전혀 다른 원인인지 찾아 드립니다. 어디서부터 시작해야 할지 모르시겠다면 AceMQ 엔지니어와 상담하십시오.

이 글은 Kafka 운영 가이드의 10단계 중 다섯 번째 단계입니다. 이 가이드는 운영 환경에서 운영상의 결정이 필요해지는 순서대로 다룹니다.

자주 묻는 질문

Kafka 프로듀서 타임아웃의 가장 흔한 실제 원인은 무엇인가요?

같은 물리 노드에서 컨트롤러와 브로커 역할이 경합하는 것입니다. 브로커와 컨트롤러 역할을 겸하는 KRaft 모드 클러스터에서는 컨트롤러 리더 노드에 연결이 과도하게 쌓이고 브로커 프로세스와 CPU, 메모리를 놓고 경쟁하게 됩니다. 그 결과 생기는 지연이 뚜렷한 브로커 오류가 아니라 프로듀서 측 타임아웃으로 나타납니다.

복제 팩터가 프로듀서 타임아웃에 영향을 주는지 어떻게 알 수 있나요?

복제 팩터가 클러스터 규모에 비례하는지 확인하십시오. 5노드 클러스터에 복제 팩터 4는 실제 오버헤드를 더하는 과도한 중복입니다. 생성된 모든 메시지는 필요한 수의 ISR(in-sync replica)이 확인 응답을 보내야 프로듀서가 확인을 받으므로, 높은 복제 팩터에 컨트롤러 경합이 겹치면 타임아웃으로 증폭됩니다. 운영 환경의 표준 기준은 복제 팩터 3입니다.

Kafka 컨트롤러를 브로커와 분리해야 하나요?

컨트롤러와 브로커 역할을 겸하고 있고 프로듀서 측 지연이나 타임아웃이 발생한다면 분리해야 합니다. 가장 효과가 큰 해결책 중 하나입니다. 전용 컨트롤러 노드를 프로비저닝하고, 기존 노드는 브로커 전용으로 재구성하며, 운영 환경의 내구성을 위해 브로커 노드를 최소 3대 유지하십시오.

Kafka 프로듀서 타임아웃을 줄이는 데 도움이 되는 다른 구성 변경은 무엇인가요?

현재 I/O 스레드 설정(num.io.threads 또는 이에 상응하는 설정)을 두 배로 늘리면 처리량 병목을 직접 해소할 수 있습니다. 별도로, 리더 재선출 빈도와 파티션 재할당 변동을 상시 지표로 모니터링하십시오. 재선출이 잦으면 클러스터가 재편될 때마다 프로듀서 트래픽이 멈춥니다.

Kafka 프로듀서 타임아웃이 실제로 프로듀서 구성 문제인 경우도 있나요?

있습니다. 너무 낮게 설정한 request.timeout.ms, retries와 함께 쓰인 max.in.flight.requests.per.connection, 잘못 구성된 batch.size/linger.ms, 부족한 buffer.memory는 모두 타임아웃을 일으키거나 타임아웃처럼 보일 수 있습니다. 다만 실제 배포에서는 브로커 측 문제가 더 흔한 근본 원인이므로, 브로커 측 상태와 컨트롤러/브로커 분리 여부부터 확인하십시오.

최근의 SSL/TLS 변경이 Kafka 프로듀서 타임아웃의 원인일 수 있나요?

그럴 수도 있지만, 해결되지 않은 컨트롤러/브로커 경합이나 과도한 복제 팩터가 있다면 TLS를 주원인으로 가정하지 마십시오. 이미 부하가 걸린 클러스터에 TLS/SSL 변경을 더하기 전에, 복제 팩터와 역할 분리라는 클러스터의 핵심 아키텍처부터 안정화하십시오.

Kafka 프로듀서 타임아웃 문제는 직접 해결해야 하나요, 전문가 리뷰를 받아야 하나요?

복제 팩터, 컨트롤러/브로커 토폴로지, 스레드 구성, 재선출 빈도는 Kafka 운영 경험이 탄탄한 팀이라면 직접 다룰 수 있습니다. 그래도 전문가 리뷰가 도움이 되는 이유는, 다양한 클러스터 토폴로지를 진단해 본 경험 없이는 증상(프로듀서 타임아웃)에서 원인(컨트롤러 경합)을 떠올리기 어렵기 때문입니다.

무료 상담

Kafka 클러스터, 전문가에게 점검받으세요

프로덕션 장애를 해결하는 중이든, 마이그레이션을 계획 중이든, 아키텍처에 대한 다른 의견이 필요하든 AceMQ 팀이 준비되어 있습니다. 영업 권유 없이 답만 드립니다.

이메일 문의