BlogRabbitMQ

Resposta a incidentes no RabbitMQ: os primeiros 15 minutos

Scott Sternloff

Por Scott Sternloff, Arquiteto corporativo sênior

LinkedIn · Atualizado em · 8 min de leitura

Resposta a incidentes no RabbitMQ: os primeiros 15 minutos
On this page

Os primeiros quinze minutos de um incidente no RabbitMQ decidem se a próxima hora será gasta corrigindo o broker ou descobrindo que o broker nunca foi o problema. A ordem abaixo é a que segue um engenheiro de plantão que já operou RabbitMQ em produção: primeiro classificar, depois agir e, se o incidente ficar grande demais para a equipe, repassar evidências em vez de palpites.

Ela pressupõe que você consegue acessar um nó do cluster, ou a interface de gerenciamento, com uma conta que pode rodar rabbitmqctl e rabbitmq-diagnostics. Se não consegue, esse é o primeiro achado.

Minutos 0 a 2: o RabbitMQ é a causa ou a vítima?

A maioria dos alertas que dizem que o RabbitMQ caiu descreve uma aplicação que parou de receber mensagens. Isso tem pelo menos quatro causas, e só uma delas é o broker. Resolva essa questão antes de mexer em qualquer coisa.

  • Algum nó está respondendo? rabbitmq-diagnostics ping em cada nó, ou GET /api/overview na porta de gerenciamento. Um nó que responde está degradado, não fora do ar, e as duas situações são tratadas de formas diferentes.
  • A aplicação está conectada? rabbitmqctl list_connections name state. Zero conexões vindas de um serviço que deveria ter dezenas é uma falha do lado do cliente ou da rede, e não do broker.
  • O que mudou? Um deploy, um push de configuração, uma rotação de certificado, o reboot de um nó, um pico de tráfego. Incidentes que vêm depois de uma mudança geralmente são a mudança.

Minutos 2 a 5: leia os alarmes antes dos logs

O RabbitMQ tem dois alarmes de recursos, e os dois produzem o mesmo sintoma, que é por isso que as equipes os interpretam mal: os publishers ficam bloqueados, os consumidores continuam trabalhando e nada cai. A aplicação vê as publicações travarem, a profundidade das filas para de subir e todos os gráficos parecem tranquilos.

  • Alarme de memória. Dispara quando um nó passa do memory high watermark, por padrão 40% da RAM na 3.x e 60% na 4.x. O rabbitmq-diagnostics alarms o lista; o rabbitmq-diagnostics memory_breakdown mostra se a memória está em conteúdo de filas, binaries, conexões ou metadados.
  • Alarme de disco. Dispara quando o espaço livre no diretório de dados fica abaixo do disk_free_limit. Os message stores, os logs das filas de quórum e os próprios arquivos de log do nó disputam o mesmo disco.
  • Como diferenciar um alarme de uma indisponibilidade. As conexões no list_connections aparecem como blocked ou blocking. O alarme vale para todo o cluster: um alarme de memória em um nó bloqueia os publishers em todos os nós.

Resolver um alarme é a única coisa que você pode fazer com segurança nos primeiros cinco minutos. Consuma o backlog, adicione disco ou aumente temporariamente o watermark no nó afetado. Não é preciso reiniciar, e o reinício geralmente piora a situação ao jogar a mesma carga em um nó recém-iniciado.

Minutos 5 a 8: estado do cluster e do quórum

O rabbitmqctl cluster_status responde quais nós o cluster espera e quais estão acessíveis. O que uma partição significa depende da versão, e essa diferença importa nos primeiros minutos.

  • 3.x e 4.0 a 4.2: uma partição registrada. A saída tem uma seção partitions. Com cluster_partition_handling = pause_minority, o lado minoritário se pausa e as filas dele ficam indisponíveis até a rede se recuperar. É a configuração funcionando, e não uma segunda falha, e reiniciar o nó pausado não encurta o problema.
  • 4.3 em diante: nenhuma estratégia de partição. O Mnesia e os modos de tratamento de partição deixaram de existir; o metadata store, as filas de quórum e os streams usam Raft, então a única questão é se cada um ainda tem uma maioria online. O rabbitmq-diagnostics check_if_node_is_quorum_critical responde isso para o nó em que você está.
  • Um nó fora do ar, sem partição. As filas de quórum com uma maioria sobrevivente continuam atendendo. Uma classic queue que vivia no nó perdido fica indisponível até ele voltar; na 3.x, o espelhamento podia cobrir isso, e a 4.0 removeu o espelhamento. Esse é o maior argumento isolado a favor das filas de quórum (quorum queues), e geralmente é descoberto aqui.
  • Quórum perdido. O rabbitmq-queues quorum_status <queue> mostra os membros e o líder. Uma fila de quórum sem maioria segura as publicações e os acknowledgements até membros suficientes voltarem, ou até eles darem timeout. Não apague e recrie a fila sob pressão; os dados estão nos membros sobreviventes.

Minutos 8 a 12: filas, consumidores e a contagem de mensagens sem acknowledgement

Um único comando cobre a maior parte:

rabbitmqctl list_queues name messages_ready messages_unacknowledged consumers

Os três números juntos mostram em qual de quatro situações você está:

  • Ready subindo, zero consumidores. A frota de consumidores está fora do ar ou desconectada. O broker está fazendo o trabalho dele; a correção está do lado de quem consome.
  • Ready subindo, consumidores presentes, unacknowledged alto. Os consumidores estão recebendo e não estão fazendo o acknowledgement. Cada um segura em andamento até o seu prefetch count, então um consumidor travado com um prefetch grande prende mensagens que ninguém está processando. Veja prefetch count para o dimensionamento, e procure uma dependência downstream dando timeout dentro do handler.
  • Ready subindo, consumidores presentes, unacknowledged perto de zero. Os consumidores são simplesmente mais lentos do que os produtores. Escale os consumidores ou limite os produtores; não há nada errado no broker.
  • Tudo estável, publicações falhando. Volte aos alarmes; você pulou um.

Aproveitando que está ali, o rabbitmqctl list_channels e uma segunda olhada nas conexões vão mostrar rotatividade: contagens de conexões que sobem e descem a cada poucos segundos significam um cliente se reconectando em loop, o que é um sintoma e, em uma frota grande o bastante, uma causa.

Minutos 12 a 15: defina a severidade e estanque o sangramento

A essa altura o incidente já tem uma forma. Atribua uma severidade para que as pessoas certas sejam acordadas e as ações erradas não sejam tomadas.

  • Sev 1: publishers bloqueados ou cluster inacessível. Alarme de recursos, quórum perdido ou todos os nós fora do ar. O impacto no negócio é imediato. É o caso de buscar ajuda externa se a equipe não opera RabbitMQ no dia a dia.
  • Sev 2: degradado. Um nó fora do ar com o quórum intacto, uma minoria pausada pelo pause_minority em um cluster anterior à 4.3, lag de replicação. O tráfego está fluindo; a capacidade ou a redundância está reduzida.
  • Sev 3: lado do cliente. Consumidores fora do ar, um loop de reconexão, um handler lento. O broker está saudável, e a correção cabe à equipe da aplicação.

Ações seguras sob pressão: consumir ou drenar um backlog, adicionar disco, aumentar temporariamente um watermark, escalar consumidores e reiniciar uma aplicação. Ações que não são seguras: fazer purge de uma fila, o que é perda de dados; force_boot ou remover um nó à força, o que pode descartar a única cópia boa de uma fila; e reiniciar nós durante uma partição, o que a prolonga.

O que ter em mãos antes de ligar para alguém

Se o incidente for para um fornecedor de suporte, o primeiro pedido é sempre o mesmo, e leva dez minutos para ser montado sob pressão ou um minuto se já estiver pronto:

  • rabbitmqctl version e a versão do Erlang, por nó.
  • A saída de rabbitmqctl cluster_status, rabbitmq-diagnostics status e rabbitmq-diagnostics alarms.
  • Uma exportação das definitions com rabbitmqctl export_definitions, que captura todas as filas, exchanges, bindings, policies e usuários, sem as mensagens.
  • A última hora de logs dos nós, do diretório de logs do RabbitMQ ou do journal.
  • A mudança que antecedeu o incidente e o horário em que ela entrou.

O que significam, e o que não significam, metas de resposta a partir de 15 minutos, conforme o plano

Um compromisso de resposta é a promessa de que um engenheiro designado faz contato e começa a trabalhar dentro da janela. Não é um prazo de resolução, e um fornecedor que promete resolução para um problema que ainda não diagnosticou está prometendo algo que não tem como saber. O que importa no contrato é quem responde, com que rapidez a severidade é confirmada e como funciona o escalonamento se o primeiro engenheiro não conseguir resolver. Esse é o formato do suporte RabbitMQ da AceMQ, que tem metas de resposta a partir de 15 minutos, conforme o plano, da 3.8 à 4.x, e é por isso que a lista de evidências acima é um checklist de onboarding, e não algo montado na noite do incidente.

Quando o incidente termina, a pergunta útil é qual dos quinze minutos acima levou mais tempo para ser respondido, porque é ali que o próximo vai se perder. Um health check encontra os limites de alarme, os tipos de fila e as configurações de partição que transformaram um evento de rotina em um incidente; o troubleshooting de RabbitMQ cobre os casos que precisam de um engenheiro no cluster, e não de um checklist.

Como deixar o próximo incidente mais curto

  • Crie alertas para os próprios alarmes, e não para os sintomas deles. O guia de monitoramento e alertas mostra o que deve acionar o plantão.
  • Leve as cargas de trabalho que importam para filas de quórum, para que a perda de um nó seja um Sev 2, e não um Sev 1.
  • Mantenha uma exportação atualizada das definitions em algum lugar que não seja o cluster. O guia de disaster recovery mostra o que mais deve ficar junto dela.
  • Leia os dez padrões de falha antes que um deles pegue você; a maioria dos incidentes é um deles.
  • Registre por escrito quem pode autorizar um reinício, um failover ou um purge, para que a decisão não seja tomada às 3 da manhã por quem estiver acordado.

Perguntas frequentes

Qual é a primeira coisa a verificar quando o RabbitMQ para de entregar mensagens?

Se o broker é mesmo a causa. Rode rabbitmq-diagnostics ping em cada nó e rabbitmqctl list_connections. Um broker que responde mas não tem conexões de clientes indica uma falha da aplicação ou da rede, e a correção está desse lado. Só quando um nó está inacessível, ou as conexões aparecem como blocked, o problema é o broker.

Por que as publicações estão travando se nada caiu?

Quase sempre é um alarme de recursos. Quando um nó passa do memory high watermark ou do limite mínimo de disco livre, o RabbitMQ bloqueia todos os publishers em todo o cluster enquanto os consumidores continuam rodando, então as filas param de crescer e os gráficos parecem tranquilos. O rabbitmq-diagnostics alarms confirma. Resolva consumindo o backlog, adicionando disco ou aumentando temporariamente o watermark; não é preciso reiniciar, e o reinício geralmente joga a mesma carga em um nó recém-iniciado.

Como é uma partição de rede no RabbitMQ?

Depende da versão. Na 3.x e da 4.0 à 4.2, o rabbitmqctl cluster_status a registra em uma seção partitions e, com cluster_partition_handling configurado como pause_minority, o lado minoritário se pausa até a rede se recuperar; é a configuração funcionando como projetado, e reiniciar o nó pausado não ajuda. A partir da 4.3, os modos de tratamento de partição deixaram de existir: tudo o que é replicado usa Raft, então a questão é se cada fila de quórum (quorum queue) e o metadata store ainda têm uma maioria online, o que o rabbitmq-diagnostics check_if_node_is_quorum_critical responde. Em qualquer caso, a recuperação é corrigir a rede e depois confirmar que o nó voltou ao cluster e se atualizou.

O que devemos enviar a um fornecedor de suporte RabbitMQ ao escalar?

As versões do RabbitMQ e do Erlang de cada nó, a saída de rabbitmqctl cluster_status, rabbitmq-diagnostics status e rabbitmq-diagnostics alarms, uma exportação das definitions com rabbitmqctl export_definitions, a última hora de logs dos nós e a mudança que antecedeu o incidente, com o horário. Com isso em mãos, um engenheiro consegue começar pelo cluster, e não pelas perguntas.

Metas de resposta a partir de 15 minutos, conforme o plano, significam que o incidente é resolvido em quinze minutos?

Não. Um compromisso de resposta significa que um engenheiro designado faz contato e começa a trabalhar dentro da janela. A resolução depende do que está errado, e nenhum fornecedor pode prometê-la para um problema que ainda não diagnosticou. Os termos de contrato que importam são quem responde, com que rapidez a severidade é confirmada e como funciona o escalonamento se o primeiro engenheiro não conseguir resolver.

Scott Sternloff

Autor

Scott SternloffArquiteto corporativo sênior

Arquiteto corporativo sênior na AceMQ. Escreve a cobertura técnica deste blog: arquitetura, clustering e migrações de RabbitMQ, Kafka e Redis.

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

Consulta gratuita

Um olhar especializado sobre seu cluster RabbitMQ

Seja para resolver um incidente em produção, planejar uma migração ou ter uma segunda opinião sobre sua arquitetura, nossa equipe está pronta. Sem discurso de vendas, só respostas.

Envie um e-mail