BlogRedis

Alta disponibilidade no Redis: Sentinel vs Cluster, failover e o que quebra

Scott Sternloff

Por Scott Sternloff, Arquiteto corporativo sênior

LinkedIn · Atualizado em · 15 min de leitura

Alta disponibilidade no Redis: Sentinel vs Cluster, failover e o que quebra
On this page

A alta disponibilidade do Redis vem da replicação mais algo que automatize o failover. O Redis Sentinel oferece failover automático para um único dataset; o Redis Cluster oferece failover mais sharding horizontal entre vários primários. A maioria das equipes precisa do Sentinel. Você precisa do Cluster quando um único nó já não comporta os seus dados ou o seu throughput. Para entender como o Redis Cluster faz o sharding dos dados, redireciona os clientes e falha em produção, veja Redis Cluster: hash slots, sharding e operação.

Replicação, sozinha, não é alta disponibilidade. Um primário com réplicas ainda precisa de um processo que decida que o primário caiu, promova uma réplica e diga aos clientes para onde ir. É essa camada de decisão que realmente diferencia as arquiteturas abaixo.

A replicação do Redis é a base

Toda arquitetura de alta disponibilidade começa pelo mesmo elemento básico: um master Redis que aceita escritas e uma ou mais réplicas que replicam a partir dele.

A replicação do Redis é assíncrona. É essa replicação assíncrona que mantém o armazenamento em memória rápido. A escrita é confirmada ao cliente antes que as réplicas a confirmem, o que mantém a latência baixa e significa que a falha do primário pode perder as últimas escritas. Esse trade-off é deliberado e inevitável — nenhuma opção de alta disponibilidade o elimina; então, projete levando-o em conta, em vez de tentar contorná-lo.

As réplicas atendem leituras, mas não eliminam o ponto único de falha. Se o primário morre e nada promove uma réplica, o cluster fica fora do ar para escritas.

Como o Redis Sentinel funciona

O Sentinel é um processo separado que observa as instâncias Redis monitoradas e faz a promoção automaticamente.

Rode no mínimo três instâncias do Sentinel. As decisões exigem maioria, então três permitem tolerar uma falha e ainda chegar a um acordo. Dois não conseguem formar maioria depois que um deles cai.

Quando ocorre um failover, o processo é o seguinte:

  1. Um Sentinel deixa de receber respostas do primário e o marca como subjetivamente fora do ar
  2. Ele consulta os seus pares; quando um número suficiente concorda, o primário passa a estar objetivamente fora do ar
  3. Eles elegem um líder entre si, que escolhe a melhor réplica
  4. Essa réplica é promovida a master, e as demais réplicas são reconfiguradas para segui-la
  5. Os clientes descobrem o novo primário consultando o monitor

Essa última etapa importa mais do que as equipes imaginam. O seu cliente Redis precisa ser compatível com o Sentinel — ele consulta o monitor para obter o endereço do primário atual, em vez de manter um endereço IP fixo no código. Aplicações configuradas com um IP fixo continuam escrevendo em um nó rebaixado e falham silenciosamente.

Sempre que possível, implante esses processos em hosts separados do servidor Redis. Colocá-los no mesmo host é comum, porque o processo é leve, mas aí a falha do host remove um nó Redis e um voto ao mesmo tempo — exatamente quando você precisa do voto.

Diagrama de sequência de um failover do Redis Sentinel mostrando o acordo por quórum, a promoção da réplica e o redirecionamento dos clientes para o novo primário

Como o Redis Cluster funciona

O Redis Cluster faz sharding dos dados entre várias instâncias Redis, cada uma com as suas próprias réplicas. As chaves são mapeadas para 16.384 hash slots distribuídos entre os shards.

O Cluster oferece alta disponibilidade e tolerância a falhas da mesma forma — promoção de réplicas —, mas sem uma camada de monitoramento separada. Os próprios nós chegam a um acordo entre si. Ele também escala as escritas, o que o Sentinel não consegue: nessa abordagem, um único primário processa todas as escritas, não importa quantas réplicas existam.

O custo é a complexidade operacional e de aplicação. Operações com várias chaves precisam ficar dentro de um mesmo hash slot, alguns clientes lidam mal com redirecionamentos, e fazer resharding de um shard entre vários nós é um procedimento de verdade, e não uma simples mudança de configuração.

Sentinel vs Cluster: comparativo

Redis SentinelRedis Cluster
DadosUm dataset, replicadoSharding entre vários primários
Escalabilidade de escritaNão — um único primárioSim
Promoção automáticaSimSim
Processos adicionaisExige nós SentinelNenhum
Requisitos do clienteCompatível com SentinelCompatível com Cluster
Operações com várias chavesSem restriçõesSomente no mesmo hash slot
Indicado paraHA sem shardingHA mais escala horizontal

A divisão prática entre Redis Cluster e Redis Sentinel: escolha o Sentinel quando os seus dados cabem com folga em um nó e você precisa de disponibilidade sem sharding. Escolha a opção com sharding quando não cabem. Escolher o Cluster só por redundância acrescenta uma complexidade que você vai pagar em cada incidente.

As opções gerenciadas — Redis Enterprise, Azure Cache for Redis e as ofertas dos provedores de nuvem — escondem essa escolha atrás da sua própria arquitetura, normalmente distribuindo as réplicas entre zonas de disponibilidade. É prático, mas você herda a semântica de promoção delas em vez de escolher a sua.

Comparação lado a lado do Redis Sentinel replicando um único dataset e do Redis Cluster fazendo sharding dos dados entre vários primários

Por que o Redis Sentinel entra em split-brain e não se recupera sozinho?

O split-brain em um deployment Redis gerenciado pelo Sentinel acontece quando uma partição de rede (ou uma sequência de reinicializações em cascata) deixa dois grupos de nós, cada um acreditando que tem quórum e que deveria estar — ou já está — atuando como primário. Diferentemente do comportamento pause_minority do RabbitMQ, que pausa deliberadamente a partição minoritária para evitar divergência, o modelo de failover e recuperação do Redis Sentinel depende de os Sentinels chegarem a um acordo por quórum sobre qual nó realmente caiu — e é nesse processo de acordo que incidentes reais de produção ficaram travados.

O que causa o problema na prática. Uma avaliação real de Redis em produção identificou o split-brain e as falhas de recuperação automática no Redis Sentinel como uma frente de investigação dedicada, originada especificamente de problemas de confiabilidade no bootstrap do Sentinel durante a reinicialização do cluster — ou seja, o problema não era uma única partição de rede dramática, mas sim os Sentinels não conseguindo restabelecer corretamente o quórum e chegar a um acordo sobre os papéis de primário e réplica quando o cluster voltava ao ar depois de uma reinicialização ou de uma recuperação de falha.

Por que ele não se corrige sozinho. A lógica de failover do Sentinel exige que um quórum configurado de processos Sentinel concorde que o primário está realmente inacessível antes de promover uma réplica. Se os próprios Sentinels reiniciam em uma ordem inconsistente, ou se o evento de infraestrutura que causou o problema original também interrompeu a comunicação entre os Sentinels, você pode acabar em um estado em que nenhum grupo de Sentinels tem um quórum limpo — e o mecanismo de failover automático, que deveria resolver justamente esse tipo de evento, não é acionado direito, exigindo intervenção manual.

O que verificar se isso acontecer com você:

  • Confirme que todos os processos Sentinel conseguem se comunicar entre si e com os nós Redis monitorados nas portas necessárias — um problema de rede parcial que se resolveu para o tráfego de dados, mas não para o tráfego de gossip do Sentinel, pode deixar o quórum do Sentinel quebrado mesmo depois que a conectividade da aplicação parece normal
  • Revise a configuração de quorum do Sentinel em relação ao número real de processos Sentinel — um quórum subdimensionado para a topologia do seu deployment aumenta a chance de chegar exatamente a esse tipo de estado ambíguo
  • Verifique especificamente os logs do Sentinel (e não só os logs do servidor Redis) em busca de tentativas de failover repetidas e malsucedidas ou de divergência entre Sentinels sobre qual é o primário atual — essa é a assinatura direta de um problema de quórum/bootstrap, e não de uma simples falha de nó
  • Se o bootstrap do Sentinel faz parte de um deployment automatizado (reinicialização de contêineres, redeploy gerenciado por orquestrador), valide que a sequência de bootstrap não tem condições de corrida — Sentinels que sobem antes de conseguirem alcançar uns aos outros ou os nós monitorados são um gatilho comum exatamente para esse modo de falha

A mitigação prática: se você vê split-brain recorrente do Sentinel correlacionado especificamente com reinicializações (e não com partições de rede reais), a correção geralmente não é apenas uma mudança na configuração do Sentinel — é corrigir a sequência de bootstrap/reinicialização para que os Sentinels tenham conectividade confiável entre si e com os nós Redis antes que a lógica de failover entre em ação. O modo Redis Cluster (em vez do standalone/primário-réplica gerenciado pelo Sentinel) trata alguns desses problemas de coordenação de outra forma e vale a avaliação se a confiabilidade do bootstrap do Sentinel for uma dor operacional recorrente no seu deployment.

Como configurar o Redis para alta disponibilidade

Uma configuração de base viável para um setup com Sentinel:

# redis.conf on each replica
replicaof <primary-ip> 6379
min-replicas-to-write 1
min-replicas-max-lag 10
# sentinel.conf — three sentinel processes
sentinel monitor mymaster <primary-ip> 6379 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000

O 2 no final é o quórum: quantos precisam concordar antes que a promoção comece. Com três instâncias do Sentinel, dois é o valor correto.

O Sentinel é configurado separadamente, e o min-replicas-to-write é a configuração que a maioria das equipes deixa de lado. Ele faz o primário recusar escritas quando há menos réplicas conectadas do que o número configurado, o que transforma uma perda de dados silenciosa em um erro visível. Ajuste o down-after-milliseconds à sua rede — agressivo demais, e a latência normal passa a disparar promoções indevidas.

Por que um Redis com alta disponibilidade ainda cai

Uma configuração correta não é suficiente. Seguem três modos de falha em que trabalhamos recentemente, e nenhum deles aparece em uma revisão de configuração.

Esgotamento de memória durante saves em background. O Redis faz fork para gravar um snapshot, e o fork usa copy-on-write. Se a sua carga de trabalho escreve muito durante o save, o pai e o filho divergem e o uso de memória sobe em direção ao dobro do dataset. Investigamos um cliente que sofria quedas repetidas por volta de 60% de utilização de memória — bem abaixo de qualquer limite de alerta que ele tinha —, causadas exatamente pelo comportamento do fork durante os backups. A correção foi um ajuste no kernel do comportamento de memory overcommit, e não uma configuração do Redis.

Planeje a capacidade para que o pico de uso mais o overhead do fork caibam na RAM. Cinquenta por cento em regime estável é um teto razoável para uma instância com muita escrita que faz snapshots.

Split-brain durante o bootstrap. No mesmo ambiente, o atraso do DNS durante a inicialização causava split-brain: nós que resolviam endereços desatualizados formavam visões inconsistentes de quem era o primário. É um problema de ordem de bootstrap, e não de regime estável, e só aparece quando o cluster inteiro reinicia junto — que é exatamente o que acontece no Kubernetes durante um drain de nó ou um rolling update.

O bootstrap via scripts e dependente de DNS é frágil a ponto de estarmos desenvolvendo um plugin para automatizar o bootstrap do Sentinel com consenso baseado em Raft, eliminando de vez essa dependência externa.

Réplicas travadas. Uma réplica que fica muito para trás e precisa de uma ressincronização completa força o primário a fazer outro fork — muitas vezes no pior momento possível. Monitore o lag das réplicas como uma métrica de primeira classe, e não como algo secundário.

O Redis está caindo e a configuração não explica? Essas falhas geralmente estão abaixo do Redis — no comportamento de memória do kernel, no DNS ou na orquestração. A AceMQ faz avaliações estruturadas de Redis que as encontram. Fale com um engenheiro da AceMQ.

Gráfico mostrando o uso de memória do Redis dobrando durante o fork de um save em background e causando uma queda por falta de memória com 60% de uso na linha de base

Redis no Kubernetes

O Kubernetes muda o modelo de falhas. Os pods se movem, os endereços IP mudam e todo o sistema distribuído pode reiniciar de uma só vez durante um rolling update.

Três regras que evitam a maioria dos incidentes:

  • Use StatefulSets com identidades de rede estáveis, para que uma instância Redis reiniciada mantenha um nome previsível em vez de ganhar um novo endereço
  • Distribua as réplicas entre nós e zonas de disponibilidade com anti-affinity — réplicas no mesmo nó físico não oferecem proteção nenhuma
  • Defina PodDisruptionBudgets para que um drain não consiga remover ao mesmo tempo o primário e a maioria dos nós Sentinel

O Redis e o Sentinel precisam desse mesmo tratamento. Proteger os nós de dados e deixar os pods do monitor livres para serem removidos elimina a maioria que faz a promoção funcionar.

Boas práticas

  • Três instâncias do Sentinel, em domínios de falha separados dos hosts dos servidores Redis
  • Várias réplicas — pelo menos duas para cada nó primário, para que uma falha ainda deixe um candidato à promoção
  • Clientes compatíveis com Sentinel ou com Cluster — nunca deixe o endereço IP do primário fixo no código
  • min-replicas-to-write, para que o primário falhe de forma visível em vez de perder escritas em silêncio
  • Capacidade para o overhead do fork, e não só para o working set
  • Alertas para lag das réplicas, fragmentação de memória e saúde do monitor — e não apenas para saber se o processo está no ar
  • Teste de propósito. Um caminho de promoção não testado é uma hipótese, e não uma garantia

Se você quer o mesmo tratamento para a sua camada de mensageria, o nosso guia de troubleshooting do RabbitMQ cobre os modos de falha equivalentes. Para ajuda prática com um ambiente de produção, veja suporte e resposta a incidentes de Redis.

Em infraestrutura virtualizada, o posicionamento importa tanto quanto a topologia — veja anti-affinity do Redis no VMware.

Como escolher entre Sentinel e Cluster: a regra de decisão e a escolha errada mais comum

A decisão se resume a uma pergunta: o dataset, e a taxa de escrita sobre ele, cabem em um único nó? Se sim, Sentinel; se não, Cluster.

O Sentinel é failover para um único dataset replicado. Um primário guarda todas as chaves, as réplicas o copiam, e os sentinels observam, concordam por quórum que o primário caiu, promovem uma réplica e respondem aos clientes que perguntam qual é o novo primário. Você mantém a semântica do Redis standalone: MULTI/EXEC e Lua sobre quaisquer chaves. A única mudança no cliente é uma consulta ao sentinel na conexão e em caso de erro.

O Cluster é sharding com failover embutido. O keyspace é dividido em 16384 hash slots distribuídos entre vários primários, cada um com as suas próprias réplicas. Um cliente que pergunta ao nó errado recebe um redirecionamento MOVED (permanente) ou ASK (no meio de uma migração) e precisa segui-lo; por isso, precisa de uma biblioteca compatível com Cluster que mantenha um mapa de slots atualizado. Comandos com várias chaves, transações e Lua exigem que todas as chaves estejam no mesmo slot, então os nomes das chaves levam hash tags como {user:42}:profile.

Escolha o Sentinel quando o dataset cabe em um nó com folga, um único primário dá conta da taxa de escrita, você depende de transações ou de Lua sobre chaves arbitrárias ou os seus clientes são simples. Escolha o Cluster quando o dataset ou o throughput de escrita vão além de um nó e há crescimento horizontal planejado.

A escolha errada que mais vemos é Cluster para um dataset de 4 GB, porque parece mais disponível. Não é: o failover do Cluster é a mesma promoção de réplica, com uma condição mais rígida (a maioria dos primários acessível) e o dobro da infraestrutura. Você paga em complexidade no cliente e em desenho de chaves por um sharding de que não precisa. Já levamos mais de uma equipe de volta ao Sentinel sem perder disponibilidade.

O que realmente acontece durante um failover do Redis, e onde as escritas se perdem

No Sentinel, a sequência é fixa. Um sentinel que não recebe resposta válida dentro de down-after-milliseconds marca o primário como SDOWN (subjetivamente fora do ar). Ele consulta os outros sentinels e, quando o quórum concorda, o primário passa a ODOWN. Os sentinels elegem um líder por votação numerada por epoch; o líder precisa da maioria de todos os sentinels, e não apenas do quórum, e é por isso que dois sentinels não conseguem fazer failover com um deles fora do ar. O líder escolhe a réplica com o menor replica-priority e, depois, a de maior offset de replicação, envia a ela REPLICAOF NO ONE, aponta as outras réplicas para ela e publica +switch-master. Os clientes perguntam a qualquer sentinel qual é o primário atual e se reconectam. O failover-timeout limita cada etapa e o intervalo entre tentativas.

No Cluster, os primários são o júri. Um nó em silêncio por cluster-node-timeout é marcado como PFAIL; os relatos de falha se espalham por gossip e, quando a maioria dos primários concorda, ele passa a FAIL. Cada réplica do primário morto espera um atraso ordenado pelo offset de replicação, de modo que a que tem mais dados pede votos primeiro. Ela solicita votos com um novo epoch e precisa da maioria dos primários, sendo que cada primário vota uma vez por epoch. A vencedora assume os slots, incrementa o seu config epoch e faz o broadcast. Os clientes ficam sabendo por meio dos redirecionamentos MOVED e atualizam o mapa de slots.

Nos dois modos, a replicação é assíncrona: o primário confirma ao cliente antes que a réplica tenha a escrita. Tudo o que estiver nessa janela quando o primário morre se perde, porque o offset da réplica promovida passa a ser a verdade. Normalmente a janela é de milissegundos; com uma réplica atrasada, é de segundos.

min-replicas-to-write e min-replicas-max-lag limitam essa janela. Com 1 e 10, um primário recusa escritas a menos que pelo menos uma réplica esteja conectada e tenha se reportado nos últimos dez segundos. Isso não torna a replicação síncrona; para uma escrita específica que precisa sobreviver, use WAIT.

Essas mesmas configurações são a resposta do Sentinel ao split-brain. Um primário antigo isolado dos sentinels, mas ainda acessível por alguns clientes, continua aceitando escritas até ser reconfigurado, e todas elas são descartadas quando ele volta ao cluster. Quando as suas réplicas passam a seguir o novo primário, ele falha na verificação de min-replicas e rejeita escritas. O Cluster é mais decisivo: um primário no lado minoritário de uma partição para de atender após cluster-node-timeout e retorna CLUSTERDOWN.

Configure down-after-milliseconds e cluster-node-timeout com valores altos o bastante para que uma pausa de GC ou um travamento de VM não disparem um failover desnecessário (veja anti-affinity no VMware). Configure os timeouts dos clientes com valores maiores do que o tempo de failover medido, faça retry com backoff em erros de conexão e em READONLY, e confirme que a biblioteca volta a consultar os sentinels ou o mapa de slots em vez de guardar um endereço em cache. Depois, ensaie tanto a morte de um processo quanto uma partição por firewall, porque a maioria das surpresas de failover só aparece em uma partição. Quantidades mínimas sensatas: três sentinels em três domínios de falha; no Cluster, três primários com uma réplica cada. O que vemos os clientes errarem, nesta ordem: dois sentinels, sentinels no mesmo host do Redis que eles observam, um endereço de primário fixo no código da aplicação e timeouts de cliente mais curtos do que o failover. Nossos projetos de consultoria Redis costumam começar corrigindo um desses pontos.

Esta é a etapa um de sete do guia de confiabilidade do Redis, que trata os problemas na ordem em que eles aparecem em um ambiente de produção.

Perguntas frequentes

O que é alta disponibilidade no Redis?

Uma arquitetura que mantém o Redis atendendo mesmo com a falha de um nó, combinando replicação com failover automático. Só a replicação não basta — algo precisa detectar a falha, promover uma réplica e redirecionar os clientes.

Qual é a diferença entre Redis Sentinel e Redis Cluster?

O Sentinel acrescenta promoção automática a um único dataset replicado. O Cluster faz sharding dos dados entre vários primários e trata as falhas internamente. Um oferece disponibilidade; o outro oferece disponibilidade mais escalabilidade de escrita.

De quantas instâncias do Sentinel eu preciso?

No mínimo três. O failover exige acordo por quórum, e três toleram a falha de um monitor e ainda conseguem formar maioria. Dois, não.

O Redis perde dados durante um failover?

Pode perder. A replicação do Redis é assíncrona, então as escritas confirmadas pelo primário, mas ainda não replicadas, se perdem quando ele falha. O min-replicas-to-write limita essa exposição ao recusar escritas quando há poucas réplicas conectadas.

Como o monitor decide que um primário caiu?

Um processo o marca como subjetivamente fora do ar quando não recebe resposta dentro de down-after-milliseconds. Quando processos suficientes concordam, atingindo o quórum configurado, ele passa a ser considerado objetivamente fora do ar e o failover começa.

Por que o Redis cai quando a memória parece normal?

Geralmente por causa do fork do save em background. Com o copy-on-write, a memória pode se aproximar do dobro do dataset durante um snapshot sob carga de escrita; assim, um nó com 60% de utilização ainda pode esgotar a RAM no meio do save. Dimensione para o pico mais o overhead do fork.

Dá para rodar Redis com alta disponibilidade no Kubernetes?

Sim, com StatefulSets, anti-affinity entre nós e zonas de disponibilidade e PodDisruptionBudgets cobrindo tanto o Redis quanto o Sentinel. A falha mais comum é um rolling update remover o primário e o quórum do Sentinel ao mesmo tempo.

Quantos nós o Redis Cluster precisa para ter alta disponibilidade?

Seis: três primários, cada um com uma réplica. Três primários é o menor conjunto capaz de formar maioria para a detecção de falhas e a eleição de réplicas enquanto um deles está fora do ar, e uma réplica por primário é o que torna o failover possível. Distribua os seis em pelo menos três domínios de falha e garanta que nenhum primário compartilhe host ou hypervisor com a sua própria réplica. Clusters maiores seguem a mesma regra: mantenha um número ímpar de primários sempre que possível e nunca rode um primário sem réplica. O suporte Redis da AceMQ inclui testes de failover e revisão de topologia, com metas de resposta a partir de 15 minutos, conforme o plano, 24 horas por dia.

Fontes

Scott Sternloff

Autor

Scott SternloffArquiteto corporativo sênior

Arquiteto corporativo sênior na AceMQ. Escreve a cobertura técnica deste blog: arquitetura, clustering e migrações de RabbitMQ, Kafka e Redis.

Guias, comparativos e pesquisas

Aprofunde-se em Redis

Consulta gratuita

Um olhar especializado sobre sua implantação Redis

Seja para resolver um incidente em produção, planejar uma migração ou ter uma segunda opinião sobre sua arquitetura, nossa equipe está pronta. Sem discurso de vendas, só respostas.

Envie um e-mail