이 페이지의 내용
RabbitMQ 헬스 체크 또는 진단이란 무엇인가?
헬스 체크에서는 무엇을 점검하는가?
- 클러스터 토폴로지와 노드 상태. 노드 수, 호스트나 가용 영역 간 분산, 노드별 디스크 및 메모리 사용량, 쿼럼 큐 리더 분산의 균형 여부.
- 큐 설정과 유형. 고가용성이 필요한 워크로드에 쿼럼 큐를 쓰는지 클래식 큐를 쓰는지, 미러링 클래식 큐가 아직 남아 있는지, 큐 깊이 패턴, 컨슈머 지연.
- 보안 설정. 기본 자격 증명 제거 또는 변경 여부, TLS 활성화, 가상 호스트 격리, 적절한 범위의 사용자 권한, 감사 로깅.
- 성능과 로드 밸런싱. 연결이 노드 간에 어떻게 분산되는지, 평상시 부하에서 퍼블리셔 흐름 제어가 발생하는지, 실제 컨슈머 처리량 대비 prefetch 설정.
- 리소스 사이징. 노드 메모리와 디스크 할당이 현재 큐 깊이와 메시지 처리율에 적절한지, 급증하는 트래픽을 감당할 여유가 있는지.
- Erlang 및 RabbitMQ 버전. 현재 버전이 커뮤니티 지원 기간 안에 있는지, 업그레이드 경로는 어떤지, 알려진 CVE가 해당되는지.
- 운영 설정. 하트비트 설정, TCP 타임아웃 설정, 영속성 정책, 데드 레터 큐 구성, 메시지 TTL 설정.
진단에서 거의 매번 발견되는 다섯 가지
/var/lib/rabbitmq)를 포함하는 엔드포인트 보호 도구는 원인을 알 수 없는 성능 저하의 가장 흔한 원인 중 하나입니다. 해결책은 해당 디렉터리를 제외하는 것으로 간단하지만, 자주 놓칩니다.guest 사용자나 광범위한 권한을 가진 관리자 사용자는 팀이 예상하는 것보다 훨씬 자주 진단에서 발견됩니다. 가상 호스트 격리도 구현되지 않은 경우가 많습니다.다음 단계로 이어지는 글: 미래 상태의 RabbitMQ 아키텍처 설계, 그리고 여러 벤더에 걸친 환경이라면 인프라 기술 지원 통합.
진단이 끝나면 무엇을 받게 되는가?
- 각 발견 사항에 대한 명확한 설명과 그것이 중요한 이유
- 구체적인 개선 절차. 막연한 권고가 아니라 실제로 필요한 설정 변경이나 조치
- 위험도와 작업량을 기준으로 정한 발견 사항 처리 순서
- 업그레이드 경로 권고(현재 버전에 해당하는 경우)
- 경영진과 공유하기에 적합한 현재 클러스터 상태 요약
배포 환경이 안정적으로 보여도 진단이 유용한가?
진단에서 가장 자주 발견되는 것
26개국 130건이 넘는 엔터프라이즈 프로젝트에서 같은 발견 사항이 계속 반복됩니다. 대부분은 이름만 붙이면 적은 비용으로 고칠 수 있고, 대부분은 무언가 고장 나기 전까지 보이지 않습니다. 저희가 가장 자주 보고서에 적는 항목은 다음과 같습니다.
- 4.x를 앞두고도 여전히 사용 중인 클래식 미러링 큐. 클래식 큐 미러링은 RabbitMQ 4.0에서 제거되었으므로, 아직 ha-mode 정책에 의존하는 클러스터는 해당 큐를 옮기기 전까지 업그레이드 경로가 없습니다. 미러링 큐는 사용 가능한 큐 유형 중 장애 시 동작도 가장 취약합니다. 해결책은 큐 단위로 쿼럼 큐로 마이그레이션하고, 재생(replay)이 필요한 소수의 워크로드에는 스트림을 쓰는 것입니다. 각 유형이 어디에 맞는지는 클래식 큐와 쿼럼 큐 비교 글에서 다룹니다.
- 메시지를 잃으면 안 되는 흐름에 퍼블리셔 confirm이 없음. confirm이 없으면 퍼블리셔는 TCP 쓰기가 성공한 것을 전달 완료로 간주하므로, 노드 장애나 메모리 알람 중에 메시지가 소리 없이 사라집니다. 주문, 결제, 청구 흐름에서 가장 많이 보이는데, 바로 이런 손실을 감당할 수 없는 흐름입니다. 해결책은 해당 채널에 confirm 모드를 적용하고 nack 시 재시도하는 것이며, 대개 작은 코드 변경으로 끝납니다.
- 길이 제한이나 TTL이 없는 무제한 큐. max-length도 TTL도 없는 큐는 메모리나 디스크 알람을 일으킬 때까지 커지며, 그 시점에는 해당 큐에 메시지를 넣는 퍼블리셔만이 아니라 클러스터의 모든 퍼블리셔가 차단됩니다. 해결책은 max-length나 메시지 TTL을 설정하는 정책을 적용하고, 애플리케이션 담당자가 동의한 오버플로 동작을 지정하는 것입니다.
- 기본값 또는 무제한으로 남아 있는 prefetch. prefetch가 무제한이면 컨슈머 하나가 큐를 자기 메모리로 끌어오는 동안 다른 컨슈머는 놀게 되고, 컨슈머가 죽으면 대량 재전달이 발생합니다. 해결책은 컨슈머 처리 시간에 맞춘 prefetch 값으로, 일반적으로 10에서 수백 사이입니다.
- 트래픽 대부분을 떠안은 단일 핫 큐. 큐는 노드 하나에서 Erlang 프로세스 하나로 실행되므로, 클러스터 처리량의 대부분을 담당하는 큐 하나가 클러스터 전체를 코어 하나 수준으로 묶어 둡니다. 해결책은 consistent-hash나 direct 라우팅으로 여러 큐에 샤딩하거나, 컨슈머가 오프셋 기반 모델로 동작할 수 있다면 스트림을 쓰는 것입니다.
- 업그레이드 후 한 번도 활성화하지 않은 기능 플래그. 기능 플래그는 디스크 저장 형식과 노드 간 통신 형식을 제어합니다. 여러 마이너 버전에 걸쳐 업그레이드된 클러스터는 플래그가 여전히 비활성화된 경우가 많은데, 이는 다음 메이저 업그레이드를 원천적으로 막습니다. 해결책은 모든 노드가 같은 버전이 된 뒤 모든 안정 플래그를 활성화하고, 3.x에서 4.x로의 전환을 계획하기 전에 이를 확인하는 것입니다.
- 지원 매트릭스보다 뒤처진 Erlang 버전. RabbitMQ의 각 릴리스는 좁은 범위의 Erlang/OTP 버전만 지원하며, 지원되지 않는 조합은 어떤 기술 지원 케이스에서든 가장 먼저 바로잡으라는 요청을 받는 항목입니다. 해결책은 Erlang을 목표 RabbitMQ 버전에 맞추는 것이며, 대개 브로커 업그레이드와 같은 유지보수 시간에 진행합니다.
- 데드 레터 컨슈머나 알림이 없음. 데드 레터 익스체인지는 대개 설정되어 있습니다. 빠진 것은 그것을 읽는 무언가입니다. 메시지가 몇 달씩 쌓이고, 누군가 처음 들여다보는 때는 장애가 났을 때입니다. 해결책은 컨슈머를 두거나, 최소한 데드 레터 큐 깊이에 대한 알림을 거는 것으로, 데드 레터 큐 가이드에서 설명합니다.
- 아무도 보지 않는 알람. 메모리 및 디스크 알람이 발생하고 퍼블리셔가 차단되는데, 팀은 애플리케이션 쪽을 통해서야 이를 알게 됩니다. 해결책은 알람과 노드 다운 이벤트를 팀이 이미 호출을 받고 있는 시스템으로 라우팅하고, 대응할 여유가 있는 임계값을 설정하는 것입니다.
- 한 번도 내보내지 않은 정의(definitions). 익스체인지, 큐, 바인딩, 사용자, 정책이 실행 중인 클러스터 안에만 존재하므로, 재해 후 재구축은 기억에 의존해야 합니다. 해결책은 정의를 정기적으로 내보내 버전 관리에 저장하는 것으로, 환경 간 설정 차이도 드러나게 됩니다.
프로젝트 진행 방식과 산출물
헬스 체크는 시작과 끝이 정해진 고정 범위 프로젝트입니다. 네 단계로 진행됩니다.
- 킥오프와 접근 권한. 짧은 통화로 범위를 합의하고 담당자를 정한 뒤, 관리 인터페이스와 메트릭에 대한 읽기 전용 접근을 설정합니다. 프로젝트 기간 내내 클러스터에는 아무것도 변경하지 않습니다.
- 1~2주간의 데이터 수집과 인터뷰. 정의, 정책, 노드 및 큐 메트릭, 로그, 버전 정보를 수집하고, 플랫폼과 그 위의 애플리케이션을 담당하는 사람들과 이야기를 나눕니다. 메트릭은 클러스터가 무엇을 하고 있는지를 보여 줄 뿐, 무엇을 해야 하는지는 보여 주지 않기 때문에 인터뷰가 중요합니다.
- 팀과 함께하는 진단 결과 검토. 보고서를 확정하기 전에 고객과 함께 발견 사항을 하나씩 살펴보고, 각 항목을 팀이 알고 있는 내용과 대조해 확인한 뒤, 우선순위를 함께 정합니다.
- 서면 보고서. 심각도가 매겨진 우선순위별 발견 사항, AceMQ 없이도 팀이 실행할 수 있는 개선 계획, 용량 및 버전 현황, 다음 업그레이드에 대한 진행/보류 판단이 담깁니다. 개선 계획은 모범 사례 목록이 아니라 각각의 이유가 붙은 순서 있는 작업 항목으로 작성됩니다.
고객 측에서는 플랫폼 담당자 한 명, 애플리케이션 담당자 한 명, 읽기 전용 관리 접근 권한이 필요합니다. 고객이 들이는 시간은 킥오프, 한두 차례의 인터뷰, 진단 결과 검토를 합쳐 총 몇 시간입니다.
보고서 이후에는 두 가지 길이 있습니다. 팀이 자체 일정에 따라 계획을 실행하거나, AceMQ가 RabbitMQ 컨설팅 프로젝트나 기술 지원 계약의 일부로 실행하는 것입니다. 기술 지원 계약에는 이후 클러스터에 대한 15분 P1 대응도 포함됩니다. 어느 쪽도 전제되어 있지 않습니다. 이만큼 핵심적인 시스템이라면 파트너에게 아키텍처 검토를 맡기는 것은 일반적인 관행이며, 검토를 받았다고 해서 추가 약정이 생기지는 않습니다. 시작하기 전에 건전한 목표 아키텍처가 어떤 모습인지 보고 싶은 팀은 운영 RabbitMQ 아키텍처 가이드를 참고하십시오.
엔지니어가 진행하는 진단을 예약하거나 무료 셀프 서비스 보고서로 시작하려면 RabbitMQ 헬스 체크 서비스를 확인하십시오.
자주 묻는 질문
RabbitMQ 파트너에게 아키텍처 검토를 맡길 수 있나요?
네. 아키텍처 검토는 RabbitMQ 헬스 체크의 핵심이며, AceMQ와의 프로젝트는 대부분 여기서 시작됩니다. Broadcom의 독점 전략 RabbitMQ MSP 파트너로서 3.8.x부터 4.x까지 어떤 버전이든, 온프레미스든 어느 클라우드든, 읽기 전용 접근만으로 클러스터를 검토합니다. 검토 범위는 토폴로지, 큐 유형, 정책, 클라이언트 동작, 모니터링, 업그레이드 준비 상태이며, 귀사 팀이 소유하는 서면 보고서로 마무리됩니다. 기술 지원 계약이 필요하지 않으며, 계약 체결을 전제로 하지도 않습니다.
RabbitMQ 아키텍처 컨설팅이 꼭 필요할까요?
항상 그렇지는 않습니다. 클러스터가 지원되는 버전이고, 큐 유형이 워크로드에 맞고, confirm과 prefetch가 의도적으로 설정되어 있고, 누군가 알람을 지켜보고 있다면 아마 문제없을 것입니다. 이 중 하나라도 파악되지 않았거나, 4.x 업그레이드를 앞두고 있는데 클러스터가 준비되었는지 아무도 말할 수 없다면, 헬스 체크로 적은 비용에 답을 얻을 수 있습니다. 대부분의 팀은 진단만으로 필요한 것을 얻으며, 일부만 더 큰 컨설팅 프로젝트로 이어갑니다.
RabbitMQ 헬스 체크는 얼마나 걸리나요?
일반적인 환경이라면 처음부터 끝까지 2~3주가 걸립니다. 킥오프와 접근 권한 설정에 하루이틀, 데이터 수집과 인터뷰에 1~2주가 걸리고, 진단 결과 검토와 서면 보고서는 그 후 며칠 안에 나옵니다. 클러스터가 많거나 환경이 여러 개인 대규모 환경은 더 오래 걸리며, 이 경우 견적에 명시합니다. 고객 측에서 투입하는 시간은 전체 프로젝트를 통틀어 몇 시간 정도입니다. 현재 장애가 진행 중이라면 먼저 15분 P1 대응의 기술 지원으로 처리하고, 클러스터가 안정된 뒤 진단을 진행합니다.
RabbitMQ 진단 비용은 얼마인가요?
클러스터 수와 환경 수에 따라 범위를 산정하며, 범위 협의 미팅 후 24시간 이내에 견적을 드립니다. 범위가 고정되어 있고, 클러스터에 아무것도 변경하지 않으며, 산출물이 구현이 아니라 보고서이기 때문에 대개 AceMQ가 수행하는 프로젝트 중 가장 저렴합니다. 개선 작업을 AceMQ에 맡기고 싶으시면 컨설팅이나 기술 지원으로 별도 견적을 드리며, 많은 팀이 계획을 직접 실행합니다.