개요
Pub/Sub는 팀에서 브로커 운영 부담을 덜어 주지만, 구독 모델, 확인 응답 기한, 순서 보장, dead-letter 정책은 여전히 설계 결정이며, 메시지가 유실되거나 중복될지를 여전히 이 결정이 좌우합니다.
과제
흔한 장애 유형은 컨슈머에 비해 너무 짧은 확인 응답 기한으로 인한 재전송, 아무도 지켜보지 않는 사이 무한히 늘어나는 dead-letter, 그리고 물량이 늘어나면 워크로드와 다르게 증가하는 청구액입니다.
환경
자체 운영 RabbitMQ 또는 Kafka와 함께 쓰는 환경을 포함해, 모든 Google Cloud Pub/Sub 배포에 적용 가능.
접근 방식
AceMQ는 전달 요건에 비추어 토픽 및 구독 설계를, 실제 컨슈머 처리 시간에 비추어 확인 응답 및 재시도 동작을 검토하고, dead-letter 및 보존 정책과 함께 현재 및 예상 물량에서 지배적인 비용 요인을 분석합니다. 여기에는 자체 운영 메시징이 더 저렴해지는 지점도 포함됩니다.
해결책
- 전달 보장에 비추어 토픽 및 구독 설계 검토
- 확인 응답 기한 및 재전송 동작 분석
- dead-letter 토픽 및 보존 정책 검토
- 순서 보장 및 exactly-once에 대한 기대치 검증
- 현재 및 예상 물량 기준 비용 모델링
- 타당한 경우 자체 운영 RabbitMQ 또는 Kafka와의 비교
성과
팀은 Pub/Sub 설계의 어느 부분에서 메시지가 중복되거나 유실될지, 다음 물량 단계에서 비용이 얼마나 들지, 그리고 관리형 메시징이 여전히 올바른 선택인지를 명확히 파악하게 됩니다.