개요
한 결제 처리 기업은 단독 Redis 인스턴스를 사용 가능한 가장 큰 호스트까지 확장해 더 이상 갈 곳이 없었습니다. Cluster 모드로의 전환이 당연한 해답이었지만, 애플리케이션은 모든 키가 한 노드에 있다고 가정하는 멀티 키 연산과 Lua 스크립트를 사용하고 있었습니다. AceMQ는 이 마이그레이션을 계획하고 검증했습니다.
과제
Cluster 모드는 키가 서로 다른 슬롯으로 해시되는 멀티 키 연산을 거부합니다. 상당수가 동적으로 구성되기 때문에, 대규모 코드베이스에서 이런 연산을 빠짐없이 찾아내는 일은 생각보다 어렵습니다. 해시 태그로 관련 키를 같은 슬롯에 강제로 배치할 수 있지만, 이를 남용하면 마이그레이션으로 해결하려던 핫 노드 문제가 다시 생깁니다.
환경
트랜잭션 중복 제거, 속도 제한, 멱등성 키 저장을 담당하는 Kubernetes 기반 Redis.
접근 방식
AceMQ는 코드 리뷰에만 의존하지 않고 실제 트래픽에서 명령 구성을 목록화했으며, 이를 통해 정적 분석이 놓친 동적 구성 멀티 키 연산을 찾아냈습니다. 이후 슬롯 분포를 유지하도록 해시 태그 설계를 의도적으로 제한했고, 이중 읽기 검증을 적용해 마이그레이션을 단계적으로 진행했습니다.
해결책
- 실제 명령 구성을 목록화해 정적 코드 리뷰가 놓친 멀티 키 연산과 스크립트를 식별
- 관련 키를 같은 위치에 두면서도 슬롯 분포를 유지할 만큼 범위를 좁게 한정한 해시 태그 설계
- 같은 위치에 둘 수 없는 연산은 정확성을 잃지 않고 여러 슬롯에 걸쳐 동작하도록 재작성
- 인프라를 변경하기 전에 클라이언트 라이브러리의 클러스터 지원과 리디렉션 처리를 검증
- 이중 읽기 검증과 단계별 롤백 지점을 정의한 단계적 마이그레이션 설계
- 토폴로지를 확정하기 전에 운영 환경의 키 패턴을 기준으로 슬롯 분포와 노드별 부하를 모델링
성과
이 결제 처리 기업은 수직 확장의 한계 대신 수평 확장의 여유를 갖춘 Cluster 모드로 이전했으며, 운영 환경의 키 패턴에서도 슬롯 분포가 고르게 유지되었습니다. 조용히 실패했을 멀티 키 연산들은 전환 전에 발견되어 수정되었습니다.