전체 사례로 돌아가기

기술 지원공공 / 국방

잊힌 구독 하나가 네임스페이스의 모든 프로듀서를 스로틀링할 수 있습니다

공공 기관

느리거나 방치된 구독 때문에 백로그가 해소되지 않아 백로그 쿼터 적용으로 프로듀서가 차단된 문제를 진단한 사례입니다.

개요

Pulsar는 모든 구독이 메시지를 확인(ack)할 때까지 메시지를 보존합니다. 폐기된 서비스, 크래시된 컨슈머, 아무도 지우지 않은 테스트 클라이언트처럼 소비를 멈춘 구독은 네임스페이스 쿼터에 도달할 때까지 백로그를 붙잡고 있으며, 쿼터에 도달하면 프로듀서가 스로틀링되거나 거부됩니다. AceMQ는 이 문제를 신속하게 진단하고 그 밑에 있는 정책을 바로잡습니다.

과제

보고되는 증상은 프로듀서 쪽에 아무 변경이 없는데도 프로듀서가 실패하기 시작했거나 크게 느려졌다는 것입니다. 원인은 producer_request_hold 또는 producer_exception 액션으로 설정된 백로그 쿼터 정책이 한도에 도달한 것입니다. 어떤 구독이 원인인지 찾으려면 네임스페이스 전체에서 구독별 백로그를 점검해야 하며, 보존(retention) 정책과 TTL 정책은 압박 속에서 급히 고치려 할 때 실수하기 쉬운 방식으로 서로 영향을 주고받습니다.

환경

멀티 테넌트 네임스페이스와 여러 구독 유형이 혼재하고, 일부 배포에서는 지역 간 복제(geo-replication)를 사용하는 Kubernetes 또는 베어메탈 기반 Apache Pulsar 클러스터.

접근 방식

AceMQ 엔지니어는 네임스페이스 전체에서 구독별 백로그와 확인(ack) 위치를 점검해 보존을 붙잡고 있는 구독을 찾고, 그것이 뒤처진 활성 컨슈머인지 방치된 구독인지 확인합니다. 그에 맞게 조치를 적용합니다. 방치된 구독의 백로그는 건너뛰거나 만료시키고, 활성 구독은 컨슈머 처리량 문제를 해결합니다. 그런 다음 다음번에는 문제가 눈에 보이게 드러나도록 정책 세트를 수정합니다.

해결책

  1. 플랜에 따라 15분부터 시작하는 대응 목표, 1차 분류 단계 없이 전담 시니어 엔지니어가 24/7 대응
  2. 구독별 백로그와 확인(ack) 위치를 점검해 보존을 막고 있는 구독 식별
  3. producer_request_hold, producer_exception, consumer_backlog_eviction 전반의 백로그 쿼터 정책 및 액션 검토
  4. 방치된 구독이 무한정 쌓이지 않고 만료되도록 보존 정책과 메시지 TTL 정책 정렬
  5. receiver queue 크기, ack 타임아웃, negative-ack 재전달을 포함한 활성 구독의 컨슈머 처리량 진단
  6. 쿼터가 적용되기 전에 방치된 구독과 증가하는 백로그를 감지하는 구독 수명 주기 관리 및 알림

성과

프로듀서 스로틀링은 장애 대응 중에 해소되며, 이후의 정책 작업으로 방치된 구독은 자동으로 만료되고 증가하는 백로그는 쿼터에 도달하기 훨씬 전에 알림을 발생시킵니다.

기술

Apache PulsarApache BookKeeperKubernetes

Apache Pulsar 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Apache Pulsar 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.