개요
Redpanda는 파티션마다 Raft 그룹을 두기 때문에 지연 시간이 파티션 리더십 분포에 민감합니다. 리더가 일부 브로커에 몰리면 그 노드들은 포화되고 나머지 클러스터는 놀게 되며, 평균 지연 시간에 변화가 보이기 훨씬 전에 꼬리 지연(tail latency)이 먼저 올라갑니다. AceMQ는 이를 진단하고 재분배합니다.
과제
지연 급증은 롤링 재시작, 노드 교체, 자연스러운 파티션 증가 이후에 나타납니다. 리더십이 고르지 않게 분포되면서 소수의 브로커가 불균형하게 많은 쓰기 부하를 떠안게 됩니다. 그 밑에는 스토리지 클래스가 클러스터가 가정한 지속 쓰기 처리량을 내지 못하거나, Kubernetes CPU 한도가 리액터 스레드를 스로틀링하거나, 토픽의 파티션 수가 너무 적어 리더십과 관계없이 부하를 분산할 수 없는 문제가 있을 수 있습니다. 어떤 경우든 증상은 같습니다.
환경
로컬 NVMe 또는 네트워크 연결 스토리지를 사용하는 Kubernetes 또는 클라우드 인스턴스 상의 Redpanda 클러스터로, 지연에 민감한 프로듀서를 지원하는 환경.
접근 방식
AceMQ는 브로커별 리더십 수, 디스크 쓰기 지연, CPU 스로틀링 지표를 지연 백분위수와 대조해 실제로 어느 계층이 포화되었는지 찾아냅니다. 먼저 리더십을 재분배하고 파티션 할당을 바로잡은 뒤, 하드웨어가 실제 제약인 경우에는 스토리지 클래스와 리소스 한도를 조정합니다.
해결책
- 브로커별 Raft 리더십 수와 파티션 분포를 분석하고 프로듀스 지연 백분위수와 대조
- 클러스터 전체에 쓰기 부하가 고르게 분산되도록 리더십 재분배 및 파티션 재할당
- 실제로 프로비저닝된 스토리지 클래스 기준으로 디스크 쓰기 지연과 지속 처리량 검증
- seastar 샤드 스레드의 스로틀링을 없애기 위한 Kubernetes CPU 한도 및 리액터 스레드 검토
- 리더 배치와 관계없이 처리량에 비해 병렬도가 너무 낮은 토픽의 파티션 수 검토
- 기본값이 아니라 내구성 요건에 맞춰 프로듀서 배칭, linger, 확인(acknowledgment) 설정 튜닝
성과
리더십 재분배를 일회성 수정이 아니라 운영 관행으로 적용하기 때문에, 꼬리 지연이 정상 범위로 돌아오고 롤링 재시작 중에도 그 상태를 유지합니다. 스토리지가 실제 제약이었던 경우에는 측정된 처리량을 근거로 용량 권고를 제시합니다.