전체 사례로 돌아가기

기술 지원금융 서비스

플랫폼을 확장하자 오히려 처리량이 떨어졌습니다

은행 트랜잭션 플랫폼 기업

Kafka 도입 후 처리량이 시간당 320,000건에서 약 45,000건으로 떨어졌습니다. 이 플랫폼은 확장성을 입증하기 위해 시간당 80,000건이 필요했습니다.

개요

은행 고객을 위한 한 트랜잭션 처리 플랫폼은 Kafka를 활성화한 뒤 처리량이 약 7분의 1로 떨어지는 것을 목격했습니다. 서비스 인스턴스를 늘려도 달라지는 것이 없었습니다. 실행 중인 인스턴스 수와 관계없이 성능이 제자리였는데, 이는 용량 한계가 아니라 병목의 전형적인 징후입니다. 검증 기한 때문에 이 플랫폼은 일주일 안에 시간당 80,000건의 트랜잭션 처리를 입증해야 했습니다.

과제

병렬성을 높여도 성능이 제자리라는 것은 하드웨어가 아니라 구성의 문제를 가리켰습니다. 배포 환경은 KRaft 기반의 Kafka 4.0으로, ZooKeeper 의존성은 사라졌지만 대부분의 팀이 익혀 온 가이드와 비교해 튜닝해야 할 요소도 바뀌어 있었습니다. 금융 워크로드였기 때문에 어떤 변경을 하더라도 장애 조치 복구 능력은 유지되어야 했습니다.

환경

은행 고객용 트랜잭션 처리 플랫폼을 뒷받침하는 KRaft 모드의 Kafka 4.0. 부하 검증에는 JMeter를 사용했습니다.

접근 방식

작업은 인스턴스를 늘려도 효과가 없는 이유를 밝히는 데 집중했고, 개선 효과를 가정하지 않고 측정할 수 있도록 모든 변경을 반복 가능한 JMeter 부하 프로파일로 검증했습니다. 장애 조치 동작은 나중에 고려할 사항이 아니라 튜닝의 제약 조건으로 다루었습니다.

해결책

  1. 모든 구성 변경을 동일한 기준선으로 측정할 수 있도록 JMeter에 반복 가능한 부하 프로파일 구축
  2. 서비스 인스턴스를 늘려도 처리량이 일정한 이유를 조사해 직렬화 지점 분리
  3. 범용 처리량이 아니라 해당 트랜잭션 패턴에 맞춰 프로듀서 및 브로커 구성 튜닝
  4. 속도를 위해 복원력을 희생하지 않도록 부하 상황에서 장애 조치 복구 검증
  5. KRaft 고유 구성을 ZooKeeper 시절 배포를 기준으로 작성된 가이드와 대조해 검토

성과

이 플랫폼은 장애 조치 복구 능력을 그대로 유지한 채 처리량 목표로 돌아가는 측정 가능한 경로를 확보했고, 향후 변경 사항에 다시 실행할 수 있는 부하 테스트 프로파일도 갖추게 되었습니다.

기술

Apache KafkaKRaftJMeter

Apache Kafka 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Apache Kafka 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.