On this page
Os primeiros quinze minutos de um incidente no RabbitMQ decidem se a próxima hora será gasta corrigindo o broker ou descobrindo que o broker nunca foi o problema. A ordem abaixo é a que segue um engenheiro de plantão que já operou RabbitMQ em produção: primeiro classificar, depois agir e, se o incidente ficar grande demais para a equipe, repassar evidências em vez de palpites.
Ela pressupõe que você consegue acessar um nó do cluster, ou a interface de gerenciamento, com uma conta que pode rodar rabbitmqctl e rabbitmq-diagnostics. Se não consegue, esse é o primeiro achado.
Minutos 0 a 2: o RabbitMQ é a causa ou a vítima?
A maioria dos alertas que dizem que o RabbitMQ caiu descreve uma aplicação que parou de receber mensagens. Isso tem pelo menos quatro causas, e só uma delas é o broker. Resolva essa questão antes de mexer em qualquer coisa.
- Algum nó está respondendo?
rabbitmq-diagnostics pingem cada nó, ouGET /api/overviewna porta de gerenciamento. Um nó que responde está degradado, não fora do ar, e as duas situações são tratadas de formas diferentes. - A aplicação está conectada?
rabbitmqctl list_connections name state. Zero conexões vindas de um serviço que deveria ter dezenas é uma falha do lado do cliente ou da rede, e não do broker. - O que mudou? Um deploy, um push de configuração, uma rotação de certificado, o reboot de um nó, um pico de tráfego. Incidentes que vêm depois de uma mudança geralmente são a mudança.
Minutos 2 a 5: leia os alarmes antes dos logs
O RabbitMQ tem dois alarmes de recursos, e os dois produzem o mesmo sintoma, que é por isso que as equipes os interpretam mal: os publishers ficam bloqueados, os consumidores continuam trabalhando e nada cai. A aplicação vê as publicações travarem, a profundidade das filas para de subir e todos os gráficos parecem tranquilos.
- Alarme de memória. Dispara quando um nó passa do memory high watermark, por padrão 40% da RAM na 3.x e 60% na 4.x. O
rabbitmq-diagnostics alarmso lista; orabbitmq-diagnostics memory_breakdownmostra se a memória está em conteúdo de filas, binaries, conexões ou metadados. - Alarme de disco. Dispara quando o espaço livre no diretório de dados fica abaixo do
disk_free_limit. Os message stores, os logs das filas de quórum e os próprios arquivos de log do nó disputam o mesmo disco. - Como diferenciar um alarme de uma indisponibilidade. As conexões no
list_connectionsaparecem comoblockedoublocking. O alarme vale para todo o cluster: um alarme de memória em um nó bloqueia os publishers em todos os nós.
Resolver um alarme é a única coisa que você pode fazer com segurança nos primeiros cinco minutos. Consuma o backlog, adicione disco ou aumente temporariamente o watermark no nó afetado. Não é preciso reiniciar, e o reinício geralmente piora a situação ao jogar a mesma carga em um nó recém-iniciado.
Minutos 5 a 8: estado do cluster e do quórum
O rabbitmqctl cluster_status responde quais nós o cluster espera e quais estão acessíveis. O que uma partição significa depende da versão, e essa diferença importa nos primeiros minutos.
- 3.x e 4.0 a 4.2: uma partição registrada. A saída tem uma seção partitions. Com
cluster_partition_handling = pause_minority, o lado minoritário se pausa e as filas dele ficam indisponíveis até a rede se recuperar. É a configuração funcionando, e não uma segunda falha, e reiniciar o nó pausado não encurta o problema. - 4.3 em diante: nenhuma estratégia de partição. O Mnesia e os modos de tratamento de partição deixaram de existir; o metadata store, as filas de quórum e os streams usam Raft, então a única questão é se cada um ainda tem uma maioria online. O
rabbitmq-diagnostics check_if_node_is_quorum_criticalresponde isso para o nó em que você está. - Um nó fora do ar, sem partição. As filas de quórum com uma maioria sobrevivente continuam atendendo. Uma classic queue que vivia no nó perdido fica indisponível até ele voltar; na 3.x, o espelhamento podia cobrir isso, e a 4.0 removeu o espelhamento. Esse é o maior argumento isolado a favor das filas de quórum (quorum queues), e geralmente é descoberto aqui.
- Quórum perdido. O
rabbitmq-queues quorum_status <queue>mostra os membros e o líder. Uma fila de quórum sem maioria segura as publicações e os acknowledgements até membros suficientes voltarem, ou até eles darem timeout. Não apague e recrie a fila sob pressão; os dados estão nos membros sobreviventes.
Minutos 8 a 12: filas, consumidores e a contagem de mensagens sem acknowledgement
Um único comando cobre a maior parte:
rabbitmqctl list_queues name messages_ready messages_unacknowledged consumersOs três números juntos mostram em qual de quatro situações você está:
- Ready subindo, zero consumidores. A frota de consumidores está fora do ar ou desconectada. O broker está fazendo o trabalho dele; a correção está do lado de quem consome.
- Ready subindo, consumidores presentes, unacknowledged alto. Os consumidores estão recebendo e não estão fazendo o acknowledgement. Cada um segura em andamento até o seu prefetch count, então um consumidor travado com um prefetch grande prende mensagens que ninguém está processando. Veja prefetch count para o dimensionamento, e procure uma dependência downstream dando timeout dentro do handler.
- Ready subindo, consumidores presentes, unacknowledged perto de zero. Os consumidores são simplesmente mais lentos do que os produtores. Escale os consumidores ou limite os produtores; não há nada errado no broker.
- Tudo estável, publicações falhando. Volte aos alarmes; você pulou um.
Aproveitando que está ali, o rabbitmqctl list_channels e uma segunda olhada nas conexões vão mostrar rotatividade: contagens de conexões que sobem e descem a cada poucos segundos significam um cliente se reconectando em loop, o que é um sintoma e, em uma frota grande o bastante, uma causa.
Minutos 12 a 15: defina a severidade e estanque o sangramento
A essa altura o incidente já tem uma forma. Atribua uma severidade para que as pessoas certas sejam acordadas e as ações erradas não sejam tomadas.
- Sev 1: publishers bloqueados ou cluster inacessível. Alarme de recursos, quórum perdido ou todos os nós fora do ar. O impacto no negócio é imediato. É o caso de buscar ajuda externa se a equipe não opera RabbitMQ no dia a dia.
- Sev 2: degradado. Um nó fora do ar com o quórum intacto, uma minoria pausada pelo
pause_minorityem um cluster anterior à 4.3, lag de replicação. O tráfego está fluindo; a capacidade ou a redundância está reduzida. - Sev 3: lado do cliente. Consumidores fora do ar, um loop de reconexão, um handler lento. O broker está saudável, e a correção cabe à equipe da aplicação.
Ações seguras sob pressão: consumir ou drenar um backlog, adicionar disco, aumentar temporariamente um watermark, escalar consumidores e reiniciar uma aplicação. Ações que não são seguras: fazer purge de uma fila, o que é perda de dados; force_boot ou remover um nó à força, o que pode descartar a única cópia boa de uma fila; e reiniciar nós durante uma partição, o que a prolonga.
O que ter em mãos antes de ligar para alguém
Se o incidente for para um fornecedor de suporte, o primeiro pedido é sempre o mesmo, e leva dez minutos para ser montado sob pressão ou um minuto se já estiver pronto:
rabbitmqctl versione a versão do Erlang, por nó.- A saída de
rabbitmqctl cluster_status,rabbitmq-diagnostics statuserabbitmq-diagnostics alarms. - Uma exportação das definitions com
rabbitmqctl export_definitions, que captura todas as filas, exchanges, bindings, policies e usuários, sem as mensagens. - A última hora de logs dos nós, do diretório de logs do RabbitMQ ou do journal.
- A mudança que antecedeu o incidente e o horário em que ela entrou.
O que significam, e o que não significam, metas de resposta a partir de 15 minutos, conforme o plano
Um compromisso de resposta é a promessa de que um engenheiro designado faz contato e começa a trabalhar dentro da janela. Não é um prazo de resolução, e um fornecedor que promete resolução para um problema que ainda não diagnosticou está prometendo algo que não tem como saber. O que importa no contrato é quem responde, com que rapidez a severidade é confirmada e como funciona o escalonamento se o primeiro engenheiro não conseguir resolver. Esse é o formato do suporte RabbitMQ da AceMQ, que tem metas de resposta a partir de 15 minutos, conforme o plano, da 3.8 à 4.x, e é por isso que a lista de evidências acima é um checklist de onboarding, e não algo montado na noite do incidente.
Quando o incidente termina, a pergunta útil é qual dos quinze minutos acima levou mais tempo para ser respondido, porque é ali que o próximo vai se perder. Um health check encontra os limites de alarme, os tipos de fila e as configurações de partição que transformaram um evento de rotina em um incidente; o troubleshooting de RabbitMQ cobre os casos que precisam de um engenheiro no cluster, e não de um checklist.
Como deixar o próximo incidente mais curto
- Crie alertas para os próprios alarmes, e não para os sintomas deles. O guia de monitoramento e alertas mostra o que deve acionar o plantão.
- Leve as cargas de trabalho que importam para filas de quórum, para que a perda de um nó seja um Sev 2, e não um Sev 1.
- Mantenha uma exportação atualizada das definitions em algum lugar que não seja o cluster. O guia de disaster recovery mostra o que mais deve ficar junto dela.
- Leia os dez padrões de falha antes que um deles pegue você; a maioria dos incidentes é um deles.
- Registre por escrito quem pode autorizar um reinício, um failover ou um purge, para que a decisão não seja tomada às 3 da manhã por quem estiver acordado.
Perguntas frequentes
Qual é a primeira coisa a verificar quando o RabbitMQ para de entregar mensagens?
Se o broker é mesmo a causa. Rode rabbitmq-diagnostics ping em cada nó e rabbitmqctl list_connections. Um broker que responde mas não tem conexões de clientes indica uma falha da aplicação ou da rede, e a correção está desse lado. Só quando um nó está inacessível, ou as conexões aparecem como blocked, o problema é o broker.
Por que as publicações estão travando se nada caiu?
Quase sempre é um alarme de recursos. Quando um nó passa do memory high watermark ou do limite mínimo de disco livre, o RabbitMQ bloqueia todos os publishers em todo o cluster enquanto os consumidores continuam rodando, então as filas param de crescer e os gráficos parecem tranquilos. O rabbitmq-diagnostics alarms confirma. Resolva consumindo o backlog, adicionando disco ou aumentando temporariamente o watermark; não é preciso reiniciar, e o reinício geralmente joga a mesma carga em um nó recém-iniciado.
Como é uma partição de rede no RabbitMQ?
Depende da versão. Na 3.x e da 4.0 à 4.2, o rabbitmqctl cluster_status a registra em uma seção partitions e, com cluster_partition_handling configurado como pause_minority, o lado minoritário se pausa até a rede se recuperar; é a configuração funcionando como projetado, e reiniciar o nó pausado não ajuda. A partir da 4.3, os modos de tratamento de partição deixaram de existir: tudo o que é replicado usa Raft, então a questão é se cada fila de quórum (quorum queue) e o metadata store ainda têm uma maioria online, o que o rabbitmq-diagnostics check_if_node_is_quorum_critical responde. Em qualquer caso, a recuperação é corrigir a rede e depois confirmar que o nó voltou ao cluster e se atualizou.
O que devemos enviar a um fornecedor de suporte RabbitMQ ao escalar?
As versões do RabbitMQ e do Erlang de cada nó, a saída de rabbitmqctl cluster_status, rabbitmq-diagnostics status e rabbitmq-diagnostics alarms, uma exportação das definitions com rabbitmqctl export_definitions, a última hora de logs dos nós e a mudança que antecedeu o incidente, com o horário. Com isso em mãos, um engenheiro consegue começar pelo cluster, e não pelas perguntas.
Metas de resposta a partir de 15 minutos, conforme o plano, significam que o incidente é resolvido em quinze minutos?
Não. Um compromisso de resposta significa que um engenheiro designado faz contato e começa a trabalhar dentro da janela. A resolução depende do que está errado, e nenhum fornecedor pode prometê-la para um problema que ainda não diagnosticou. Os termos de contrato que importam são quem responde, com que rapidez a severidade é confirmada e como funciona o escalonamento se o primeiro engenheiro não conseguir resolver.
Talk to an engineer
Need a hand with RabbitMQ?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
Guias, comparativos e pesquisas

