개요
고객 60,000곳을 위해 약 2,000대의 서버를 운영하는 한 호스팅 사업자는 수요 증가에 맞춰 Kafka 배포를 노드 한 개에서 다섯 개로 확장했지만, 여전히 프로듀서 타임아웃이 잦았습니다. 용량을 늘리자는 본능적인 해법은 이미 시도한 뒤였습니다.
과제
클러스터는 노드 다섯 개에 복제 계수 4로 운영되었고, 브로커와 컨트롤러가 같은 노드에 함께 배치되어 있었습니다. 그 결과 컨트롤러 리더가 복제 작업에 더해 비정상적으로 많은 활성 커넥션까지 떠안게 되었고, 타임아웃을 일으킨 것은 순수한 처리량이 아니라 바로 이 커넥션 집중이었습니다. 뒤이어 재선출과 토픽 이동이 발생했는데, 이는 같은 원인의 증상이 아니라 클러스터 불안정처럼 보였습니다.
환경
대규모 공유 호스팅 환경을 지원하며, 물리 서버에 Docker로 배포된 노드 다섯 개 규모의 Kafka 클러스터.
접근 방식
AceMQ는 증상을 피해 가며 튜닝하는 대신, 복제 및 토폴로지 선택을 워크로드가 실제로 요구하는 수준과 비교해 검토했습니다. 권고 사항은 하나를 적용하기 전에 이전 단계를 클러스터 안정성 지표로 검증할 수 있도록 순서를 정해 제시했습니다.
해결책
- 모든 파티션을 과도하게 복제하지 않으면서 내구성 요건을 충족하도록 복제 계수를 4에서 3으로 축소
- 컨트롤러 작업이 서비스 트래픽 처리와 더 이상 경쟁하지 않도록 브로커와 컨트롤러 역할 분리
- 변경 기간 내내 가용성 보장을 유지하기 위해 최소 3개의 브로커 노드 유지
- 커넥션 부하 상황에서 응답성을 높이도록 스레드 설정 튜닝
- 각 단계를 검증할 때 확인할 지표로 재선출 빈도와 토픽 이동 지정
성과
프로듀서 타임아웃을 용량 추가로 가리는 대신 근본 원인에서 해결했으며, 팀은 재발을 조기에 감지할 수 있는 명확한 신호 체계를 갖추게 되었습니다.