블로그RabbitMQ

Kubernetes RabbitMQ 클러스터의 정상 상태를 보장하기 위해 모니터링해야 할 5가지

Scott Sternloff

작성: Scott Sternloff, 시니어 엔터프라이즈 아키텍트

LinkedIn · 업데이트: · 17분 분량

Kubernetes RabbitMQ 클러스터의 정상 상태를 보장하기 위해 모니터링해야 할 5가지
On this page

Kubernetes에서 RabbitMQ를 운영하는 것은 베어메탈에서 운영하는 것과 다릅니다. 고정된 3노드 VM 클러스터에서 중요한 모니터링 신호가, 완전히 통제하지 못할 수도 있는 Kubernetes 클러스터 안에서 RabbitMQ StatefulSet이 정상인지 알려 주는 신호와 같지는 않습니다. 장애 유형도 다릅니다. 노드 축출(eviction), 파드 재스케줄링, 공유 테넌트 환경의 I/O 경합, 그리고 Raft 합의가 Kubernetes 네트워킹 스택과 상호 작용하는 특유의 방식은 베어메탈 운영자가 결코 겪지 않는 장애를 일으킬 수 있습니다.

저희는 이런 장애를 충분히 많이 해결해 왔기 때문에, 이제 무엇이 진짜 중요한 신호이고 무엇이 잡음인지 분명히 알고 있습니다. Kubernetes RabbitMQ 클러스터에서 단 다섯 가지만 모니터링한다면 이 다섯 가지를 모니터링하십시오. 금융 서비스, SaaS 플랫폼, 고처리량 엔터프라이즈 환경에서의 경험상, 이 지표들은 장애가 고객에게 드러나는 서비스 중단으로 번지기 전에 잡아냅니다.

Kubernetes RabbitMQ 모니터링이 다른 이유

베어메탈이나 전용 VM 위의 RabbitMQ 클러스터에게 주된 적은 하나, 바로 자신의 워크로드입니다. Kubernetes 위의 RabbitMQ 클러스터에게는 적이 여럿 있습니다.

  • 공유 컴퓨팅. 전용 노드를 할당하지 않았다면, RabbitMQ 파드는 Kubernetes가 함께 스케줄링하는 다른 모든 워크로드와 CPU, 메모리, 디스크 I/O를 놓고 경쟁합니다.
  • 네트워크 추상화 계층. Kubernetes 네트워킹 스택은 파드 간 지연 시간, CNI 오버헤드, 그리고 Raft 합의와 대역폭을 나눠 써야 하는 하트비트 계층을 추가합니다.
  • StatefulSet의 동작 방식. Kubernetes 기반 RabbitMQ는 Cluster Operator에 의해 StatefulSet으로 배포되는데, StatefulSet 파드는 노드가 실패해도 자동으로 재스케줄링되지 않습니다. 운영자들이 하필 가장 곤란한 순간에 알게 되는 사실입니다.
  • 퍼시스턴트 볼륨과의 결합. local-path나 노드 로컬 스토리지를 쓰면 재스케줄링된 파드가 이전 상태를 복구하지 못할 수 있습니다. 네트워크 연결 스토리지는 그 나름의 I/O 변동성을 가져옵니다.

이들 하나하나가 전용 인프라에서는 일어날 수 없는 유형의 장애를 추가합니다. 모니터링은 이 모두를 고려해야 합니다.

1. 쿼럼 큐의 Raft 복제 상태

쿼럼 큐를 운영하고 있다면, 그리고 2026년에 RabbitMQ 4.x를 사용한다면 당연히 그래야 하지만, Raft 복제 상태는 대시보드에서 가장 중요한 단일 지표입니다. 아직 전환하지 않았다면 쿼럼 큐로의 마이그레이션 가이드를 참고하십시오. 쿼럼 큐는 리더와 팔로워가 Raft 합의에 참여하는 방식으로 동작하며, 퍼블리셔에게 확인 응답을 보내기 전에 모든 메시지를 과반수 노드에 기록합니다. Raft가 저하되면 그 하위의 모든 것이 함께 저하됩니다.

특히 Kubernetes에서는 Raft에 가해지는 압박이 빠르게 누적됩니다. 합의 프로토콜에는 노드 간의 안정적인 저지연 통신, 일관된 디스크 쓰기 성능, 로그 항목을 처리할 충분한 CPU 여유가 필요합니다. 이 중 어느 하나라도 빠듯해지면, 그리고 Kubernetes에서는 베어메탈보다 더 자주 빠듯해지는데, Raft가 뒤처지기 시작하고 큐가 응답하지 않기 시작합니다.

실제로 모니터링해야 할 항목

  • 리더와 팔로워 상태별로 구분한 rabbitmq_queue_messages.
  • rabbitmq_raft_log_commit_index와 rabbitmq_raft_log_last_applied. 두 값의 차이가 Raft 지연입니다.
  • 리더 선출 빈도. 정상 클러스터는 리더가 안정적입니다. 리더가 계속 바뀐다면 상위 계층(네트워크, 디스크, CPU)의 어딘가에 문제가 있는 것입니다.
  • 관리 API로 확인하는 큐별 Raft 상태: 팔로워 상태, 스냅샷 인덱스, 디스크 사용량.

경보 임계값

팔로워의 Raft 로그가 리더보다 수천 개 이상의 항목만큼 30초 넘게 뒤처지면 경보를 보내십시오. 안정적인 클러스터에서 리더 선출이 시간당 한 번보다 자주 발생하면 경보를 보내십시오. 그리고 쿼럼 큐 중 하나라도 쿼럼을 잃으면 즉시 경보를 보내십시오. 브로커가 지표로 알려 주며, 이 사실은 분 단위가 아니라 초 단위로 알아야 합니다.

Kubernetes에서 이것이 더 중요한 이유

Kubernetes에서는 Raft가 큐를 사용할 수 없게 되고 표준 복구 절차도 제대로 통하지 않는 상태에 빠지는 일이 충분히 일어날 수 있습니다. 실제 운영 환경에서 저희가 본 패턴은 이렇습니다. 쿼럼 큐가 멈추고, 브로커가 삭제를 위한 합의를 이루지 못해 rabbitmqctl delete_queue가 실패하며, 서비스를 복구하려면 특정 순서로 파드를 종료해 새로운 리더 선출을 강제해야 합니다. 이런 상태를 고객 불만으로 알게 되어서는 안 됩니다. 10분 일찍 Raft 지연이 상승하는 것을 보아야 합니다.

2. 메모리 워터마크와 흐름 제어 상태

RabbitMQ에는 메모리 하이 워터마크라는 내장 보호 메커니즘이 있습니다. 브로커의 메모리 사용량이 워터마크 임계값을 넘으면 RabbitMQ는 노드가 완전히 메모리 부족에 빠지지 않도록 퍼블리셔를 차단합니다. 이는 의도된 설계, 즉 안전장치입니다. 그러나 Kubernetes에서는 기본 워터마크 설정이 맞지 않는 경우가 많습니다.

전문가 인사이트: Kubernetes에 맞춘 워터마크 튜닝

"Kubernetes에서는 워터마크 40%, net tick time 60으로 테스트해야 합니다. Raft가 작업할 공간을 더 남겨 두고, 네트워킹을 위한 공간도 따로 남겨 두는 것입니다. RabbitMQ의 네트워킹은 노드 간 통신만이 아니라 Kubernetes의 네트워킹과 파드의 하트비트이기도 합니다. 리소스를 놓고 경쟁하고 있는 것입니다."— Felipe Gutierrez, AceMQ 시니어 엔지니어

RabbitMQ 메모리 워터마크의 기본값 0.4(40%)가 존재하는 이유는, Kubernetes에서는 파드나 노드의 메모리를 쓰는 것이 브로커만이 아니기 때문입니다. Kubernetes kubelet, CNI 플러그인, 컨테이너 런타임, 모든 사이드카 컨테이너가 메모리를 소비하며, Raft와 브로커는 그 주변에 여유 공간이 필요합니다. 전용 VM에서 적절한 워터마크도 Kubernetes에서는 Raft 작업과 파드 간 네트워킹을 위한 여유를 확보하기 위해 낮춰야 하는 경우가 많습니다.

실제로 모니터링해야 할 항목

  • rabbitmq_resident_memory_limit_bytes와 rabbitmq_process_resident_memory_bytes. 두 값의 비율이 현재 워터마크 사용률입니다.
  • rabbitmq_connections_blocked_total. RabbitMQ가 현재 차단하고 있는 퍼블리셔 연결 수입니다.
  • 연결별 흐름 제어 상태. 프로듀서가 흐름 제어 상태에 들어간다면 파이프라인 어딘가에 압박 문제가 있는 것입니다. 첫 단계로 컨슈머 prefetch 튜닝을 확인하십시오.
  • Kubernetes 파드 메모리 사용량 대비 파드 메모리 한도. 파드 한도에 도달하면 OOMKilled가 발생하며, 이는 RabbitMQ 워터마크에 도달하는 것보다 훨씬 심각한 장애입니다.

경보 임계값

설정된 워터마크의 80%에서 경보를 보내십시오. 이 시점이면 퍼블리셔 차단이 임박한 것입니다. 연결이 하나라도 차단되면 즉시 경보를 보내십시오. 그리고 Kubernetes 파드 메모리 한도의 90%에서 경보를 보내십시오. kubelet이 파드를 종료하기 전 마지막 경고입니다.

3. 디스크 I/O 경합과 쓰기 지연 시간

Kubernetes가 가장 큰 타격을 주는 지표가 바로 이것입니다. RabbitMQ 쿼럼 큐는 설계상 디스크 집약적입니다. 모든 쓰기는 확인 응답 전에 Raft 로그를 거칩니다. 기반 스토리지가 느리거나, 변동이 심하거나, 경합 상태라면 시스템의 모든 프로듀서가 그 영향을 받습니다.

Kubernetes에서는 저희가 반복해서 목격하는 특정 장애 유형 때문에 디스크 성능 문제가 더 복잡해집니다. RabbitMQ가 I/O 부하가 큰 다른 워크로드, 대개 PostgreSQL, Kafka, Elasticsearch와 노드를 공유하는 경우입니다. 이웃 워크로드가 급증하면 RabbitMQ의 Raft 로그 쓰기가 느려지고, 팔로워 지연이 커지며, 리더가 재선출되고, 운영자가 바로 원인을 추적할 수 없는 이유로 클러스터가 알 수 없이 저하되는 것처럼 보입니다.

전문가 인사이트: I/O 경합 패턴

"같은 노드에서 여전히 Postgres와 경쟁하고 있다면, Raft는 메모리와 쿼럼만의 문제가 아닙니다. 디스크도 필요합니다. 같은 시간에 Postgres 사용량이 많다면, 지금 여러분과 나누고 있는 것과 똑같은 문제가 생길 것입니다. 둘을 분리하거나, 최소한 RabbitMQ 노드 수를 줄여서 리소스를 놓고 경쟁하지 않도록 해야 합니다."— Felipe Gutierrez, AceMQ 시니어 엔지니어

실제로 모니터링해야 할 항목

  • rabbitmq_io_write_time_seconds_total과 rabbitmq_io_write_bytes_total. 쓰기 지연 시간 추세가 조기 경고 신호입니다.
  • 노드 수준의 디스크 쓰기 지연 시간 히스토그램(Kubernetes의 node_exporter가 제공).
  • 같은 노드에서 RabbitMQ 파드가 소비하는 IOPS와 다른 모든 워크로드가 소비하는 IOPS의 비교.
  • 디스크 큐 깊이. 이 값이 계속 1~2를 넘는다면 디스크를 기다리고 있는 것입니다.
  • 퍼시스턴트 볼륨 사용량 증가율. 쿼럼 큐의 디스크 사용량은 메시지 양과 로그 보존 기간에 따라 늘어납니다.

경보 임계값

RabbitMQ 노드 중 하나라도 p99 디스크 쓰기 지연 시간이 50ms를 넘으면 경보를 보내십시오. 퍼시스턴트 볼륨 사용률이 75%를 넘으면 경보를 보내십시오. 그리고 디스크 큐 깊이가 1분 넘게 지속적으로 2를 넘으면 경보를 보내십시오.

아키텍처 권장 사항

가능하다면 노드 테인트(taint)와 톨러레이션(toleration)을 사용해 Kubernetes 노드를 RabbitMQ 전용으로 할당하십시오. I/O 부하가 큰 스테이트풀 워크로드는 별도의 노드 풀에서 실행하십시오. 그것이 어렵다면 RabbitMQ와 이웃 워크로드가 서로 다른 물리 디스크의 별도 퍼시스턴트 볼륨을 사용하도록 하십시오. 디스크 하나를 추가하는 비용은 I/O 경합으로 인한 운영 장애 비용에 비하면 미미합니다.

4. 파드 스케줄링, 재시작 횟수, StatefulSet 동작

운영자들의 허를 찌르는 Kubernetes 특유의 함정이 있습니다. RabbitMQ는 공식 Cluster Operator에 의해 StatefulSet으로 배포되는데, StatefulSet 파드는 현재 노드가 실패해도 다른 노드로 자동 재스케줄링되지 않습니다. 이는 의도된 설계로, StatefulSet은 안정적인 식별자와 스토리지를 제공합니다. 그러나 운영 측면에서는 노드 장애가 지속되는 동안 RabbitMQ 파드도 오프라인 상태로 남을 수 있다는 결과로 이어집니다.

이것은 이론상의 우려가 아닙니다. 저희는 Kubernetes 노드가 다운되어 RabbitMQ StatefulSet 파드가 고립되고, 운영자가 Kubernetes가 StatefulSet에는 제공하지 않는 자동 재스케줄링을 기대했던 탓에 애플리케이션이 장시간 사용 불가 상태에 빠진 장애를 고객과 함께 해결한 적이 있습니다.

실제로 모니터링해야 할 항목

  • RabbitMQ 파드별 재시작 횟수와 그 추이. 하루에 10회 이상 재시작한 파드는 무언가를 알려 주고 있는 것입니다.
  • 파드 스케줄링 상태. 특히 Pending, Unschedulable, ContainerCreating 상태로 60초 넘게 머무는 RabbitMQ 파드.
  • RabbitMQ 파드를 호스팅하는 노드의 상태. NotReady 노드는 파드 중단까지 남은 시간을 재는 시계와 같습니다.
  • StatefulSet 준비 상태. 원하는 레플리카 중 현재 몇 개가 Ready 상태인지.
  • liveness 및 readiness 프로브 실패율. 부하 상황의 프로브 실패는 대개 브로커가 완전히 실패하기 전에 과부하 상태임을 나타냅니다.

경보 임계값

RabbitMQ StatefulSet 레플리카가 원하는 수 아래로 떨어지면 즉시 경보를 보내십시오. 파드가 하나라도 재시작하면 경보를 보내십시오. RabbitMQ 파드를 호스팅하는 노드가 NotReady가 되면 경보를 보내십시오. 모두 조치가 필요한 상황입니다. StatefulSet에서 동작할지 확실하지 않은 자동 복구 메커니즘이 아니라 사람이 직접 확인해야 합니다.

아키텍처 참고 사항

기본 StatefulSet 동작보다 빠른 노드 장애 자동 복구가 필요하다면 몇 가지 선택지가 있습니다. PodDisruptionBudget과 노드 드레인 자동화를 함께 사용하거나, 영역 장애가 클러스터 전체를 다운시키지 않도록 RabbitMQ를 여러 Kubernetes 가용 영역에 걸쳐 배포하거나, 경우에 따라서는 브로커를 아예 Kubernetes 외부의 전용 VM에서 실행하는 것입니다. 올바른 선택은 목표 복구 시간(RTO)과 Kubernetes 운영 성숙도에 따라 달라집니다.

5. 네트워크 하트비트와 노드 간 지연 시간

RabbitMQ 노드들은 서로 분산 Erlang 통신을 유지하며, 이 통신의 상태가 클러스터가 클러스터로 유지되는지를 결정합니다. Kubernetes에서는 네트워킹 계층이 지연 시간의 변동성을 추가로 만들어 노드 장애를 잘못 감지하게 할 수 있습니다. 실제로는 Kubernetes CNI가 잠시 느려졌을 뿐인데, 하트비트가 시간 내에 도착하지 않아 브로커가 피어 노드가 다운되었다고 판단하는 것입니다.

Erlang net_ticktime의 기본값 60초는 Kubernetes 환경, 특히 오버레이 네트워크나 영역 간 트래픽이 있는 환경에서는 너무 공격적인 경우가 많습니다. 이 값의 튜닝은 저희가 Kubernetes RabbitMQ 클러스터를 운영 환경에 맞게 강화할 때 가장 먼저 하는 작업 중 하나입니다.

실제로 모니터링해야 할 항목

  • 네트워크 파티션 이벤트. RabbitMQ가 로그에 기록하며, 즉시 경보를 보내야 합니다.
  • RabbitMQ 파드 간 지연 시간(간단한 ping 사이드카나 서비스 메시 지표로 측정 가능).
  • Erlang 분산 버퍼 사용률. rabbitmq_erlang_distribution_buffer_busy는 노드 간 통신이 밀리고 있는 시점을 알려 줍니다.
  • 노드 수준의 TCP 연결 상태 분포. TIME_WAIT 또는 CLOSE_WAIT 연결 수가 늘어난다면 네트워크 문제가 진행 중일 수 있습니다.
  • 사용 가능하다면 CNI 수준 지표(Calico, Cilium 등). RabbitMQ 파드 간 패킷 드롭은 조기 경보 신호입니다.

경보 임계값

네트워크 파티션 이벤트가 하나라도 발생하면 경보를 보내십시오. RabbitMQ 파드 간 p99 지연 시간이 10ms를 넘으면 경보를 보내십시오. Erlang 분산 버퍼 사용률이 50%를 넘으면 경보를 보내십시오.

튜닝 권장 사항

Kubernetes에서는 기준값으로 net_ticktime을 기본 60초에서 120초로 늘리십시오. 이렇게 하면 CNI 계층에 여유가 생기고, 평범한 네트워크 지터로 인한 잘못된 클러스터 파티션 이벤트가 크게 줄어듭니다. tick 시간이 길어지면 실제로 실패한 노드의 감지가 약간 느려지지만, Kubernetes 환경에서는 안정성 측면의 이점이 압도적으로 큽니다.

종합: 경보 설계 원칙

이 다섯 영역을 모니터링하는 목적은 경보를 늘리는 것이 아니라 올바른 경보를 만드는 것입니다. 저희 경험상 호출을 가장 적게 받는 운영자는 가장 적게 모니터링하는 사람이 아니라, 올바른 임계값으로 올바른 대상을 모니터링하는 사람입니다.

Kubernetes RabbitMQ 클러스터에 적합한 등급 구분은 다음과 같습니다.

  • P1(즉시 호출): 큐 중 하나라도 쿼럼 손실. 노드 NotReady. StatefulSet 레플리카가 원하는 수 미만. 퍼블리셔 연결 차단 발생. 네트워크 파티션 감지.
  • P2(업무 시간 중 호출): Raft 팔로워 지연의 지속적 증가. 메모리 워터마크 80% 초과. 디스크 지연 시간 p99 50ms 초과. 파드 재시작. 리더 선출 반복.
  • P3(대시보드만, 주간 검토): 용량 추세. 디스크 사용량 증가율. 연결 수 증가. 큐 깊이 증가.

그 밖의 모든 것은 잡음입니다. 온콜 담당자가 P1이나 P2에 해당하지 않는 일로 호출을 받고 있다면, 경보가 실제로 중요한 것과 어긋나 있는 것입니다.

실무 요약

Kubernetes는 RabbitMQ를 운영하기에 좋은 플랫폼입니다. 단, Kubernetes 때문에 달라지는 부분을 모니터링할 때에 한해서입니다. 베어메탈 모니터링의 사고방식은 그대로 옮겨 오지 않습니다. 위의 다섯 가지 지표 범주는 저희가 지원하는 모든 Kubernetes RabbitMQ 프로젝트에서 모니터링하는 항목이며, Kubernetes에서 RabbitMQ를 운영하는 모든 팀에 첫날부터 계측하도록 권장하는 항목입니다.

Kubernetes RabbitMQ 클러스터를 인수받아 모니터링 상태를 빠르게 점검하고 싶다면, 다음 다섯 가지를 순서대로 확인하십시오.

  • 큐별 Raft 복제 상태가 보입니까? 그렇지 않다면 쿼럼에 대해 아무것도 모르는 채 운영하고 있는 것입니다.
  • 메모리 워터마크가 Kubernetes에 맞게(0.8보다 0.4에 가깝게) 설정되어 있습니까? 그렇지 않다면 트래픽이 한 번만 급증해도 퍼블리셔가 차단될 수 있습니다.
  • RabbitMQ 노드별 디스크 지연 시간을 모니터링하고 경보를 설정했습니까? 그렇지 않다면 I/O 경합이 발생했을 때 진단할 수 없습니다.
  • StatefulSet 레플리카 수와 파드 스케줄링 상태에 경보가 설정되어 있습니까? 그렇지 않다면 노드 장애에 무방비로 당하게 됩니다.
  • net_ticktime이 Kubernetes 환경에 맞게 튜닝되어 있습니까? 여전히 기본값이라면 잘못된 파티션 감지가 발생하고 있을 것입니다.

이 중 두 가지 이상에 "아니요"라고 답하는 클러스터라면, 운영 장애 한 번이면 왜 답이 "예"여야 했는지 정확히 알게 될 것입니다.

SRE를 위한 RabbitMQ 모니터링 체크리스트

이 글에서 한 섹션만 읽는다면 이 섹션을 읽으십시오. 앞의 내용은 각 신호가 왜 중요한지 설명하고, 이 섹션은 런북에 넣을 목록입니다. rabbitmq_prometheus 플러그인(3.8부터 기본 내장)을 활성화하고, 모든 노드에서 지표를 수집하며, 공식 Grafana 대시보드를 가져오십시오. 그런 다음 네 그룹의 지표를 지켜보십시오.

클러스터. 모든 노드가 보고하고 있는지(각 수집 대상의 up), 파티션이 없는지(관리 API 헬스 체크 또는 rabbitmqctl cluster_status, 앞의 네트워크 파티션 섹션 참고), 쿼럼 큐의 Raft 리더가 안정적인지(rabbitmq_raft_term_total은 변하지 않아야 하며, term이 증가한다면 선출이 일어나고 있는 것입니다), 두 리소스 알람이 모두 해제되어 있는지(rabbitmq_alarms_memory_used_watermark와 rabbitmq_alarms_free_disk_space_watermark는 0이어야 합니다) 확인합니다. 실제 여유량도 추적하십시오. rabbitmq_disk_space_available_bytes, 그리고 rabbitmq_resident_memory_limit_bytes 대비 rabbitmq_process_resident_memory_bytes입니다.

큐. 깊이(rabbitmq_queue_messages_ready), 미확인 메시지(rabbitmq_queue_messages_unacked), 컨슈머 수(rabbitmq_queue_consumers)와 컨슈머 사용률(rabbitmq_queue_consumer_utilisation. 값이 낮으면 컨슈머가 브로커를 기다리며 유휴 상태이고, 1에 가까우면 브로커가 컨슈머를 기다리고 있는 것입니다), 재전달률(rabbitmq_queue_messages_redelivered_total), 데드레터율입니다. 깊이 자체는 문제가 아닙니다. 컨슈머 수는 그대로인데 깊이가 계속 증가하는 것이 문제입니다.

처리량과 지연 시간. 발행률과 전달률(rabbitmq_queue_messages_published_total과 rabbitmq_queue_messages_delivered_total을 일정 구간에 대한 비율로 계산), 그리고 퍼블리셔 confirm 지연 시간입니다. 브로커는 confirm 지연 시간을 직접 내보내지 않으므로, 발행 애플리케이션에서 측정하거나 카나리 퍼블리셔를 사용하십시오. 발행률과 전달률 사이의 격차가 좁혀지지 않는다면, 그것이 얻을 수 있는 가장 이른 용량 신호입니다.

플랫폼. 파드 재시작(RabbitMQ StatefulSet의 kube_pod_container_status_restarts_total), 스토리지 클래스나 node exporter에서 확인하는 퍼시스턴트 볼륨 지연 시간, CPU 스로틀링(container_cpu_cfs_periods_total 대비 container_cpu_cfs_throttled_periods_total)입니다. 브로커 파드에서 몇 퍼센트를 넘는 스로틀링은 RabbitMQ 자체에서 이상이 보이기 훨씬 전에 confirm 지연 시간으로 나타납니다. 그 메커니즘은 앞의 파드 스케줄링 및 디스크 I/O 섹션에서 설명했습니다.

저희가 필수로 간주하는 8가지 경보와 시작 임계값입니다. 워크로드에 맞게 조정하십시오. 핵심은 호출 전에 경고를 받는 것입니다.

지표경고호출
노드 다운(up == 0)노드 1개, 2분간노드 2개 이상, 또는 노드 1개 10분간
네트워크 파티션 감지발생 즉시5분간 지속
rabbitmq_raft_term_total 증가율10분 내 선출 1회 초과10분 내 3회 초과
rabbitmq_alarms_memory_used_watermark메모리가 한도의 70% 초과알람 발생(퍼블리셔 차단)
rabbitmq_disk_space_available_bytes여유 공간 20% 미만디스크 여유 공간 한도의 2배 미만
rabbitmq_queue_messages_ready15분간 증가합의된 최대 깊이를 5분간 초과
rabbitmq_queue_consumer_utilisation10분간 0.6 미만0.3 미만이면서 깊이 증가
파드 재시작1시간 내 1회1시간 내 3회, 또는 CrashLoopBackOff

이 표에서 다루지 않는 것이 두 가지 있습니다. 첫째, 컨슈머 수는 그대로인데 미확인 메시지가 증가한다면 대개 컨슈머가 멈췄거나 prefetch가 너무 높은 것입니다. 이 경보는 전역이 아니라 중요한 큐별로 설정하십시오. 둘째, 데드레터율은 워크로드마다 다르므로 고정 수치가 아니라 기준선 대비 변화에 대해 경보를 설정하십시오.

경고 등급은 낮 동안 누군가 확인하는 채널로, 호출 등급은 온콜 담당자에게 연결하십시오. 클러스터를 처음부터 구축한다면, 저희의 Kubernetes 배포 플레이북에서 이러한 경보 대부분이 울리지 않게 해 주는 리소스 요청, 스토리지 클래스, 안티어피니티 규칙을 다룹니다. 그래도 경보가 울린다면 트러블슈팅 가이드에서 증상별 해결책을 확인할 수 있습니다.

Kubernetes RabbitMQ 클러스터 강화에 도움이 필요하십니까?

AceMQ는 금융 서비스, SaaS, 헬스케어, Fortune 1000 기업 고객을 위해 Kubernetes에서 운영 환경 RabbitMQ를 운영하고 있습니다. 모니터링 스택을 구축하고, Kubernetes 특유의 장애 유형에 맞게 브로커를 튜닝하며, 페일오버 절차를 검증하고, 운영 단계에서도 계약을 유지하며 일어나지 않기를 바라는 장애에 대응합니다.

팀이 Kubernetes에서 RabbitMQ 안정성 문제로 어려움을 겪고 있거나, 신규 Kubernetes 배포를 계획하면서 처음부터 모니터링을 제대로 갖추고 싶다면, RabbitMQ 헬스 진단에 대해 저희 팀과 상의하십시오. 현재 모니터링 상태를 감사하고, 부족한 부분을 찾아내며, 이를 해소할 계획을 수립해 드립니다. RabbitMQ 상용 기술 지원이나 RabbitMQ 컨설팅이 필요하다면, 그것이 바로 저희가 하는 일입니다.

자주 묻는 질문

SRE는 RabbitMQ 클러스터를 어떻게 모니터링해야 하나요?

모든 노드에서 rabbitmq_prometheus 플러그인을 활성화하고, kube-state-metrics 및 cAdvisor와 함께 수집한 뒤, 공식 Grafana 대시보드를 가져오십시오. 경보는 네 그룹으로 설정합니다. 클러스터 상태(노드 가동 여부, 파티션, Raft term 변화, 메모리 및 디스크 알람), 큐 상태(ready, unacked, 컨슈머 수와 사용률, 재전달), 처리량(발행률 대비 전달률, 퍼블리셔 측에서 측정한 confirm 지연 시간), 플랫폼 상태(파드 재시작, PV 지연 시간, CPU 스로틀링)입니다. 경고 등급은 채널로, 호출 등급은 온콜 담당자에게 보내십시오. 위의 표에는 필수로 간주하는 8가지 경보의 시작 임계값이 정리되어 있습니다.

용량 문제를 나타내는 RabbitMQ 지표는 무엇인가요?

가장 이른 신호는 발행률이 전달률을 지속적으로 웃도는 것입니다. 그다음은 rabbitmq_queue_consumers는 그대로인데 rabbitmq_queue_messages_ready가 증가하는 경우로, 컨슈머를 늘리거나 더 빠르게 만들어야 한다는 뜻입니다. rabbitmq_queue_consumer_utilisation이 1에 가까우면 컨슈머가 병목이고, 0에 가까우면 브로커가 병목입니다. 브로커 측에서는 상주 메모리가 rabbitmq_resident_memory_limit_bytes에 가까워지거나, rabbitmq_disk_space_available_bytes가 감소하거나, 파드에서 CPU 스로틀링이 발생한다면 모두 노드 사양이 부족하다는 신호입니다. 메모리 또는 디스크 알람이 발생했다면 이미 용량이 바닥나 퍼블리셔가 차단되고 있는 상태입니다.

RabbitMQ 클러스터가 불안정해지는 원인은 무엇인가요?

저희 경험상 원인은 대략 다음 순서입니다. 노드 리소스 압박이나 잘못 구성된 PodDisruptionBudget으로 인한 네트워크 파티션, 깊은 큐나 제한 없는 연결 수로 인해 발생하는 메모리 알람, 공유 퍼시스턴트 볼륨의 디스크 경합으로 Raft 쓰기가 느려져 리더 선출이 일어나는 경우, 볼륨이 따라갈 수 없는 노드로 StatefulSet 파드가 재스케줄링되는 경우, 그리고 롤링 업그레이드 중 노드 간 버전 불일치입니다. 이들 대부분은 먼저 rabbitmq_raft_term_total의 증가나 파드 재시작으로 나타나며, 그래서 이 두 경보가 표의 맨 위에 있습니다. 각 원인은 위의 해당 섹션에서 다룹니다.

RabbitMQ에 상용 모니터링 도구가 필요한가요?

필요하지 않습니다. rabbitmq_prometheus 플러그인, Prometheus, 공식 Grafana 대시보드는 무료이고 관리가 잘 되어 있으며, 대규모 환경을 포함한 대부분의 환경에 충분합니다. 이 도구들이 제공하지 못하는 것은 새벽 3시에 지표를 읽고, 경보 세 개가 동시에 울릴 때 8가지 경보 중 무엇이 진짜인지 알며, 고객사의 버전에서 같은 문제를 해결해 본 경험이 있는 사람입니다. 그것이 기술 지원 계약이 더해 주는 가치입니다. 저희는 3.8.x부터 4.x까지 플랜에 따라 15분부터 시작하는 대응 목표로 지원하므로, 가치는 대시보드가 아니라 대응에 있습니다. 모니터링은 직접 유지하시고, 해석과 해결은 저희에게 맡기십시오.

모니터링은 Operator, 스토리지, 네트워킹, 리소스 요청과 한도, 롤링 업데이트를 순서대로 다루는 Kubernetes 기반 RabbitMQ 가이드의 8단계 중 6단계입니다.

Scott Sternloff

저자

Scott Sternloff시니어 엔터프라이즈 아키텍트

AceMQ 시니어 엔터프라이즈 아키텍트. RabbitMQ, Kafka, Redis 아키텍처, 클러스터링, 마이그레이션 등 기술 분야 글을 씁니다.

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

무료 상담

RabbitMQ 클러스터, 전문가에게 점검받으세요

프로덕션 장애를 해결하는 중이든, 마이그레이션을 계획 중이든, 아키텍처에 대한 다른 의견이 필요하든 AceMQ 팀이 준비되어 있습니다. 영업 권유 없이 답만 드립니다.

이메일 문의