전체 사례로 돌아가기

기술 지원소프트웨어 / 디지털 플랫폼

노드를 늘려도 해결되지 않았습니다

유럽 호스팅 사업자

고객 60,000곳을 지원하는 노드 다섯 개짜리 Kafka 클러스터에서 부하가 걸리면 프로듀서 타임아웃이 발생했습니다. 원인은 용량이 아니라 토폴로지였습니다.

개요

고객 60,000곳을 위해 약 2,000대의 서버를 운영하는 한 호스팅 사업자는 수요 증가에 맞춰 Kafka 배포를 노드 한 개에서 다섯 개로 확장했지만, 여전히 프로듀서 타임아웃이 잦았습니다. 용량을 늘리자는 본능적인 해법은 이미 시도한 뒤였습니다.

과제

클러스터는 노드 다섯 개에 복제 계수 4로 운영되었고, 브로커와 컨트롤러가 같은 노드에 함께 배치되어 있었습니다. 그 결과 컨트롤러 리더가 복제 작업에 더해 비정상적으로 많은 활성 커넥션까지 떠안게 되었고, 타임아웃을 일으킨 것은 순수한 처리량이 아니라 바로 이 커넥션 집중이었습니다. 뒤이어 재선출과 토픽 이동이 발생했는데, 이는 같은 원인의 증상이 아니라 클러스터 불안정처럼 보였습니다.

환경

대규모 공유 호스팅 환경을 지원하며, 물리 서버에 Docker로 배포된 노드 다섯 개 규모의 Kafka 클러스터.

접근 방식

AceMQ는 증상을 피해 가며 튜닝하는 대신, 복제 및 토폴로지 선택을 워크로드가 실제로 요구하는 수준과 비교해 검토했습니다. 권고 사항은 하나를 적용하기 전에 이전 단계를 클러스터 안정성 지표로 검증할 수 있도록 순서를 정해 제시했습니다.

해결책

  1. 모든 파티션을 과도하게 복제하지 않으면서 내구성 요건을 충족하도록 복제 계수를 4에서 3으로 축소
  2. 컨트롤러 작업이 서비스 트래픽 처리와 더 이상 경쟁하지 않도록 브로커와 컨트롤러 역할 분리
  3. 변경 기간 내내 가용성 보장을 유지하기 위해 최소 3개의 브로커 노드 유지
  4. 커넥션 부하 상황에서 응답성을 높이도록 스레드 설정 튜닝
  5. 각 단계를 검증할 때 확인할 지표로 재선출 빈도와 토픽 이동 지정

성과

프로듀서 타임아웃을 용량 추가로 가리는 대신 근본 원인에서 해결했으며, 팀은 재발을 조기에 감지할 수 있는 명확한 신호 체계를 갖추게 되었습니다.

기술

Apache KafkaDockerLinux

Apache Kafka 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Apache Kafka 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.