개요
은행 고객을 위한 한 트랜잭션 처리 플랫폼은 Kafka를 활성화한 뒤 처리량이 약 7분의 1로 떨어지는 것을 목격했습니다. 서비스 인스턴스를 늘려도 달라지는 것이 없었습니다. 실행 중인 인스턴스 수와 관계없이 성능이 제자리였는데, 이는 용량 한계가 아니라 병목의 전형적인 징후입니다. 검증 기한 때문에 이 플랫폼은 일주일 안에 시간당 80,000건의 트랜잭션 처리를 입증해야 했습니다.
과제
병렬성을 높여도 성능이 제자리라는 것은 하드웨어가 아니라 구성의 문제를 가리켰습니다. 배포 환경은 KRaft 기반의 Kafka 4.0으로, ZooKeeper 의존성은 사라졌지만 대부분의 팀이 익혀 온 가이드와 비교해 튜닝해야 할 요소도 바뀌어 있었습니다. 금융 워크로드였기 때문에 어떤 변경을 하더라도 장애 조치 복구 능력은 유지되어야 했습니다.
환경
은행 고객용 트랜잭션 처리 플랫폼을 뒷받침하는 KRaft 모드의 Kafka 4.0. 부하 검증에는 JMeter를 사용했습니다.
접근 방식
작업은 인스턴스를 늘려도 효과가 없는 이유를 밝히는 데 집중했고, 개선 효과를 가정하지 않고 측정할 수 있도록 모든 변경을 반복 가능한 JMeter 부하 프로파일로 검증했습니다. 장애 조치 동작은 나중에 고려할 사항이 아니라 튜닝의 제약 조건으로 다루었습니다.
해결책
- 모든 구성 변경을 동일한 기준선으로 측정할 수 있도록 JMeter에 반복 가능한 부하 프로파일 구축
- 서비스 인스턴스를 늘려도 처리량이 일정한 이유를 조사해 직렬화 지점 분리
- 범용 처리량이 아니라 해당 트랜잭션 패턴에 맞춰 프로듀서 및 브로커 구성 튜닝
- 속도를 위해 복원력을 희생하지 않도록 부하 상황에서 장애 조치 복구 검증
- KRaft 고유 구성을 ZooKeeper 시절 배포를 기준으로 작성된 가이드와 대조해 검토
성과
이 플랫폼은 장애 조치 복구 능력을 그대로 유지한 채 처리량 목표로 돌아가는 측정 가능한 경로를 확보했고, 향후 변경 사항에 다시 실행할 수 있는 부하 테스트 프로파일도 갖추게 되었습니다.