BlogueRedis

Alta disponibilidade do Redis: Sentinel vs Cluster, failover e o que falha

Scott Sternloff

Por Scott Sternloff, Arquiteto empresarial sénior

LinkedIn · Atualizado a · 15 min de leitura

Alta disponibilidade do Redis: Sentinel vs Cluster, failover e o que falha
On this page

A alta disponibilidade do Redis resulta da replicação mais algo que automatize o failover. O Redis Sentinel dá-lhe failover automático para um único dataset; o Redis Cluster dá-lhe failover e sharding horizontal por vários primários. A maioria das equipas precisa do Sentinel. Precisa do Cluster quando um nó já não consegue guardar os seus dados ou suportar o seu débito. Para perceber como o Redis Cluster distribui os dados em shards, redireciona os clientes e falha em produção, consulte Redis Cluster: hash slots, sharding e operação.

A replicação, por si só, não é alta disponibilidade. Um primário com réplicas continua a precisar de um processo que decida que o primário está em baixo, promova uma réplica e indique aos clientes para onde ir. É essa camada de decisão que distingue verdadeiramente as arquiteturas abaixo.

A replicação do Redis é a base

Todas as arquiteturas de alta disponibilidade partem da mesma primitiva: um master Redis que aceita escritas e uma ou mais réplicas que replicam a partir dele.

A replicação do Redis é assíncrona. É esta replicação assíncrona que mantém rápido o armazenamento em memória. Uma escrita é confirmada ao cliente antes de as réplicas a confirmarem, o que mantém a latência baixa e significa que a falha de um primário pode perder as últimas escritas. Este compromisso é deliberado e inevitável — nenhuma opção de alta disponibilidade o faz desaparecer, por isso desenhe a contar com ele em vez de tentar contorná-lo.

As réplicas servem leituras, mas não eliminam o ponto único de falha. Se o primário morre e nada promove uma réplica, o cluster fica em baixo para escritas.

Como funciona o Redis Sentinel

O Sentinel é um processo separado que vigia as instâncias Redis monitorizadas e faz a promoção automaticamente.

Use três instâncias Sentinel, no mínimo. As decisões precisam de maioria, pelo que três permitem tolerar uma falha e continuar a chegar a acordo. Dois não conseguem formar maioria quando um deles desaparece.

Quando ocorre um failover, o processo decorre assim:

  1. Um Sentinel deixa de receber respostas do primário e marca-o como subjetivamente em baixo
  2. Consulta os seus pares; quando um número suficiente concorda, o primário passa a estar objetivamente em baixo
  3. Elegem um líder entre si, que seleciona a melhor réplica
  4. Essa réplica é promovida a master e as restantes são reconfiguradas para a seguir
  5. Os clientes descobrem o novo primário perguntando ao monitor

Este último passo importa mais do que as equipas esperam. O cliente Redis tem de ser compatível com o Sentinel (Sentinel-aware) — pergunta ao monitor qual é o endereço do primário atual, em vez de guardar um endereço IP fixo no código. As aplicações configuradas com um IP fixo continuam a escrever num nó despromovido e falham sem dar sinal.

Sempre que possível, coloque estes processos em hosts separados do servidor Redis. Juntá-los é comum, porque o processo é leve, mas a falha de um host remove então, ao mesmo tempo, um nó Redis e um voto — exatamente quando o voto é preciso.

Diagrama de sequência de um failover do Redis Sentinel, com o acordo por quórum, a promoção da réplica e o redirecionamento dos clientes para o novo primário

Como funciona o Redis Cluster

O Redis Cluster distribui os dados (sharding) por várias instâncias Redis, cada uma com as suas réplicas. As chaves são mapeadas para 16 384 hash slots distribuídos pelos shards.

O Cluster garante alta disponibilidade e tolerância a falhas da mesma forma — promoção de réplicas —, mas sem uma camada de monitorização separada. Os nós entram em acordo entre si. Além disso, escala as escritas, coisa que o Sentinel não consegue: com essa abordagem, um único primário trata todas as escritas, independentemente de quantas réplicas existam.

O custo é a complexidade operacional e aplicacional. As operações com várias chaves têm de ficar dentro de um único hash slot, alguns clientes lidam mal com os redirecionamentos e redistribuir um shard por vários nós é um procedimento a sério, e não uma alteração de configuração.

Sentinel ou Cluster: comparação

Redis SentinelRedis Cluster
DadosUm dataset, replicadoDistribuído por vários primários
Escalabilidade de escritaNão — um único primárioSim
Promoção automáticaSimSim
Processos adicionaisExige nós SentinelNenhum
Requisitos dos clientesCompatível com SentinelCompatível com Cluster
Operações com várias chavesSem restriçõesApenas no mesmo hash slot
Indicado paraHA sem shardingHA com escala horizontal

A divisão prática entre Redis Cluster e Redis Sentinel: escolha o Sentinel quando os dados cabem com folga num único nó e precisa de disponibilidade sem sharding. Escolha a opção com sharding quando não cabem. Optar pelo Cluster apenas por redundância acrescenta uma complexidade que vai pagar em cada incidente.

As opções geridas — Redis Enterprise, Azure Cache for Redis e as ofertas dos fornecedores de cloud — escondem esta escolha por trás da sua própria arquitetura, distribuindo normalmente as réplicas por zonas de disponibilidade. É prático, mas herda a semântica de promoção deles em vez de escolher a sua.

Comparação lado a lado entre o Redis Sentinel, que replica um único dataset, e o Redis Cluster, que distribui os dados por vários primários

Porque é que o Redis Sentinel entra em split-brain e não recupera sozinho?

O split-brain numa implementação Redis gerida pelo Sentinel acontece quando uma partição de rede (ou uma sequência de reinícios em cascata) deixa dois grupos de nós convencidos de que têm quórum e de que deveriam estar — ou já estão — a atuar como primário. Ao contrário do comportamento pause_minority do RabbitMQ, que suspende deliberadamente a partição minoritária para evitar divergências, o modelo de failover e recuperação do Redis Sentinel depende de os Sentinels chegarem a acordo por quórum sobre qual o nó que está realmente em baixo — e é nesse processo de acordo que incidentes reais de produção têm ficado presos.

O que o provoca na prática. Uma avaliação real de Redis em produção identificou o split-brain e as falhas de recuperação automática no Redis Sentinel como uma frente de investigação própria, resultante especificamente de problemas de fiabilidade no arranque (bootstrap) do Sentinel durante o reinício do cluster — ou seja, o problema não era uma única partição de rede dramática, mas sim os Sentinels a não conseguirem restabelecer corretamente o quórum e acordar os papéis de primário e réplica quando o cluster voltava a ficar online após um reinício ou uma recuperação de falha.

Porque não se resolve sozinho. A lógica de failover do Sentinel exige que um quórum configurado de processos Sentinel concorde que o primário está mesmo inacessível antes de promover uma réplica. Se os próprios Sentinels reiniciarem por uma ordem inconsistente, ou se o evento de infraestrutura que causou o problema original também tiver perturbado a comunicação entre Sentinels, pode acabar num estado em que nenhum grupo de Sentinels tem um quórum limpo — e o mecanismo de failover automático que devia resolver exatamente este tipo de evento não é acionado de forma limpa, obrigando a intervenção manual.

O que verificar se lhe acontecer:

  • Confirme que todos os processos Sentinel conseguem comunicar entre si e com os nós Redis monitorizados nas portas necessárias — um problema de rede parcial que se resolveu para o tráfego de dados, mas não para o tráfego gossip do Sentinel, pode deixar o quórum do Sentinel partido mesmo depois de a conectividade ao nível da aplicação parecer normal
  • Reveja a configuração de quorum do Sentinel face ao número real de processos Sentinel — um requisito de quórum subdimensionado para a sua topologia aumenta a probabilidade de exatamente este tipo de estado ambíguo
  • Verifique especificamente os logs do Sentinel (e não apenas os do servidor Redis) à procura de tentativas de failover repetidas e falhadas ou de desacordo entre Sentinels sobre o primário atual — é a assinatura direta de um problema de quórum ou de arranque, e não de uma simples falha de nó
  • Se o arranque do Sentinel faz parte de uma implementação automatizada (reinício de contentores, redeploy gerido por um orquestrador), confirme que a sequência de arranque não tem race conditions — Sentinels que ficam online antes de conseguirem comunicar entre si ou com os nós monitorizados são um gatilho comum exatamente deste modo de falha

A mitigação prática: se está a ter split-brain recorrente no Sentinel associado especificamente a reinícios (e não a partições de rede genuínas), a correção raramente passa só por alterar a configuração do Sentinel — passa por corrigir a sequência de arranque e reinício, para que os Sentinels tenham conectividade fiável entre si e com os nós Redis antes de a lógica de failover entrar em ação. O modo Redis Cluster (em vez de standalone ou primário-réplica gerido pelo Sentinel) trata alguns destes problemas de coordenação de outra forma e vale a pena avaliá-lo se a fiabilidade do arranque do Sentinel for um problema operacional recorrente na sua implementação em concreto.

Como configurar o Redis para alta disponibilidade

Uma base funcional para uma configuração com Sentinel:

# redis.conf on each replica
replicaof <primary-ip> 6379
min-replicas-to-write 1
min-replicas-max-lag 10
# sentinel.conf — three sentinel processes
sentinel monitor mymaster <primary-ip> 6379 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000

O 2 no final é o quórum: quantos têm de concordar antes de a promoção arrancar. Com três instâncias Sentinel, dois é o valor correto.

O Sentinel configura-se em separado, e min-replicas-to-write é a definição que a maioria das equipas ignora. Faz com que o primário recuse escritas quando estão ligadas menos réplicas do que o número configurado, o que transforma uma perda de dados silenciosa num erro visível. Ajuste down-after-milliseconds à sua rede — se for demasiado agressivo, a latência normal provoca promoções desnecessárias.

Porque é que um Redis em alta disponibilidade continua a ir abaixo

Uma configuração correta não chega. Eis três modos de falha em que trabalhámos recentemente, nenhum dos quais é detetado numa revisão de configuração.

Esgotamento de memória durante saves em segundo plano. O Redis faz um fork para escrever um snapshot, e o fork usa copy-on-write. Se a carga de trabalho escrever muito durante o save, o processo pai e o filho divergem e a utilização de memória sobe para perto do dobro do dataset. Investigámos um cliente que tinha falhas repetidas por volta dos 60 por cento de utilização de memória — muito abaixo de qualquer limiar com alerta — causadas precisamente pelo comportamento do fork durante os backups. A correção foi um ajuste do memory overcommit ao nível do kernel, e não uma definição do Redis.

Planeie a capacidade de forma que o pico de utilização mais o overhead do fork caibam na RAM. Cinquenta por cento em regime estável é um teto razoável para uma instância com muitas escritas que faz snapshots.

Split-brain durante o arranque. No mesmo ambiente, o atraso do DNS durante o arranque provocou split-brain: os nós que resolviam endereços desatualizados formavam visões inconsistentes de quem era o primário. É um problema de ordem de arranque, não de regime estável, e só aparece quando todo o cluster reinicia ao mesmo tempo — que é exatamente o que acontece no Kubernetes durante o drain de um nó ou um rolling update.

O arranque por scripts e dependente de DNS é tão frágil que estamos a desenvolver um plugin que automatiza o arranque do Sentinel com consenso baseado em Raft, eliminando por completo essa dependência externa.

Réplicas paradas. Uma réplica que fica muito para trás e precisa de uma ressincronização completa obriga o primário a mais um fork — muitas vezes no pior momento. Monitorize o atraso das réplicas como uma métrica de primeira linha, e não como um pormenor.

Tem falhas do Redis que a configuração não explica? Estas falhas costumam estar abaixo do Redis — no comportamento de memória do kernel, no DNS ou na orquestração. A AceMQ realiza avaliações estruturadas de Redis que as detetam. Fale com um engenheiro da AceMQ.

Gráfico da utilização de memória do Redis a duplicar durante o fork de um save em segundo plano, provocando uma falha por falta de memória com uma utilização de base de 60 por cento

Redis em Kubernetes

O Kubernetes muda o modelo de falhas. Os pods mudam de sítio, os endereços IP mudam e todo o sistema distribuído pode reiniciar de uma vez durante um rolling update.

Três regras que evitam a maioria dos incidentes:

  • Use StatefulSets com identidades de rede estáveis, para que uma instância Redis reiniciada mantenha um nome previsível em vez de receber um novo endereço
  • Distribua as réplicas por nós e zonas de disponibilidade com anti-affinity — réplicas no mesmo nó físico não dão qualquer proteção
  • Defina PodDisruptionBudgets para que um drain não possa fazer a eviction do primário e de uma maioria dos nós Sentinel ao mesmo tempo

Tanto o Redis como o Sentinel precisam deste tratamento. Proteger os nós de dados e deixar os pods de monitorização sujeitos a eviction livre elimina a maioria que faz a promoção funcionar.

Boas práticas

  • Três instâncias Sentinel, em domínios de falha separados dos hosts do servidor Redis
  • Várias réplicas — pelo menos duas por cada nó primário, para que uma falha ainda deixe uma candidata à promoção
  • Clientes compatíveis com o Sentinel ou com o Cluster — nunca fixe no código o endereço IP de um primário
  • min-replicas-to-write, para que o primário falhe de forma visível em vez de perder escritas em silêncio
  • Capacidade para o overhead do fork, e não apenas para o working set
  • Alertas sobre o atraso das réplicas, a fragmentação de memória e a saúde dos monitores — e não apenas sobre se o processo está ativo
  • Teste de forma deliberada. Um caminho de promoção nunca testado é uma hipótese, não uma garantia

Se quer o mesmo tratamento para a sua camada de mensagens, o nosso guia de resolução de problemas do RabbitMQ cobre os modos de falha equivalentes. Para ajuda prática com um ambiente de produção, consulte suporte e resposta a incidentes para Redis.

Em infraestrutura virtualizada, a colocação importa tanto como a topologia — consulte anti-affinity do Redis em VMware.

Escolher entre Sentinel e Cluster: a regra de decisão e o erro mais comum

A decisão resume-se a uma pergunta: o dataset, e a taxa de escrita sobre ele, cabem num único nó? Sim significa Sentinel; não significa Cluster.

O Sentinel é failover para um único dataset replicado. Um primário guarda todas as chaves, as réplicas copiam-no e os Sentinels vigiam, acordam por quórum que o primário desapareceu, promovem uma réplica e respondem aos clientes que perguntam pelo novo primário. Mantém a semântica do Redis standalone: MULTI/EXEC e Lua sobre quaisquer chaves. A única alteração nos clientes é uma consulta ao Sentinel ao ligar e em caso de erro.

O Cluster é sharding com failover incorporado. O keyspace é dividido em 16384 hash slots distribuídos por vários primários, cada um com as suas réplicas. Um cliente que pergunta ao nó errado recebe um redirecionamento MOVED (permanente) ou ASK (a meio de uma migração) e tem de o seguir, pelo que precisa de uma biblioteca compatível com o Cluster que mantenha um mapa de slots atualizado. Comandos com várias chaves, transações e Lua exigem que todas as chaves estejam no mesmo slot, pelo que os nomes das chaves levam hash tags como {user:42}:profile.

Escolha o Sentinel quando o dataset cabe num nó com margem, um único primário aguenta a taxa de escrita, depende de transações ou Lua sobre chaves arbitrárias ou os seus clientes são simples. Escolha o Cluster quando o dataset ou o débito de escrita ultrapassam um nó e está previsto crescimento horizontal.

O erro que mais vemos é escolher o Cluster para um dataset de 4 GB porque parece mais disponível. Não é: o failover do Cluster é a mesma promoção de réplicas, com uma condição mais exigente (uma maioria de primários acessível) e o dobro da infraestrutura. Paga-se em complexidade dos clientes e em desenho de chaves por um sharding de que não precisa. Já fizemos mais do que uma equipa voltar ao Sentinel sem perder disponibilidade.

O que acontece realmente durante um failover do Redis e onde se perdem escritas

Com o Sentinel, a sequência é fixa. Um Sentinel que não recebe uma resposta válida dentro de down-after-milliseconds marca o primário como SDOWN (subjetivamente em baixo). Pergunta aos outros Sentinels e, quando um quórum concorda, o primário fica em ODOWN. Os Sentinels elegem um líder por votação numerada por época; o líder precisa de uma maioria de todos os Sentinels, e não apenas do quórum, e é por isso que dois Sentinels não conseguem fazer failover com um deles em baixo. O líder escolhe a réplica com o replica-priority mais baixo e, depois, com o maior offset de replicação, envia-lhe REPLICAOF NO ONE, aponta as outras réplicas para ela e publica +switch-master. Os clientes perguntam a qualquer Sentinel qual é o primário atual e voltam a ligar-se. O failover-timeout limita cada passo e o intervalo entre tentativas.

Com o Cluster, os primários são o júri. Um nó em silêncio durante cluster-node-timeout é marcado como PFAIL; os relatórios de falha propagam-se por gossip e, quando uma maioria de primários concorda, passa a FAIL. Cada réplica do primário morto espera um intervalo ordenado pelo offset de replicação, para que a que tem mais dados peça votos primeiro. Pede votos com uma nova época, precisa de uma maioria de primários, e cada primário vota uma vez por época. A vencedora assume os slots, incrementa a sua config epoch e faz broadcast. Os clientes ficam a saber através dos redirecionamentos MOVED e atualizam o seu mapa de slots.

Em ambos os modos, a replicação é assíncrona: o primário confirma ao cliente antes de a réplica ter a escrita. Tudo o que estiver nessa janela quando o primário morre perde-se, porque o offset da réplica promovida passa a ser a verdade. Normalmente, a janela é de milissegundos; com uma réplica atrasada, é de segundos.

O min-replicas-to-write e o min-replicas-max-lag limitam essa janela. Com 1 e 10, um primário recusa escritas a menos que pelo menos uma réplica esteja ligada e tenha reportado nos últimos dez segundos. Isto não torna a replicação síncrona; para uma escrita isolada que tem de sobreviver, use WAIT.

As mesmas definições são a resposta do Sentinel ao split-brain. Um primário antigo isolado dos Sentinels, mas ainda acessível a alguns clientes, continua a aceitar escritas até ser reconfigurado, e todas são descartadas quando volta a juntar-se. Assim que as suas réplicas passam a seguir o novo primário, falha a verificação de min-replicas e rejeita escritas. O Cluster é mais decisivo: um primário do lado minoritário de uma partição deixa de servir após cluster-node-timeout e devolve CLUSTERDOWN.

Defina down-after-milliseconds e cluster-node-timeout com valores suficientemente altos para que uma pausa de GC ou um bloqueio da VM não provoque um failover desnecessário (consulte anti-affinity em VMware). Defina timeouts nos clientes superiores ao tempo de failover medido, repita com backoff em caso de erros de ligação e de READONLY e confirme que a biblioteca volta a consultar os Sentinels ou o mapa de slots em vez de guardar um endereço em cache. Depois, ensaie tanto a morte de um processo como uma partição por firewall, porque a maioria das surpresas no failover só aparece numa partição. Números mínimos sensatos: três Sentinels em três domínios de falha; para o Cluster, três primários com uma réplica cada. O que vemos os clientes errar, por ordem: dois Sentinels, Sentinels no mesmo host que o Redis que vigiam, o endereço do primário fixo na aplicação e timeouts dos clientes mais curtos do que o failover. O nosso trabalho de consultoria em Redis começa normalmente por corrigir um destes pontos.

Este é o passo um de sete do guia de fiabilidade do Redis, que trata os problemas pela ordem em que surgem num ambiente de produção.

Perguntas frequentes

O que é a alta disponibilidade do Redis?

Uma arquitetura que mantém o Redis a servir quando um nó falha, combinando replicação com failover automático. A replicação, por si só, não chega — é preciso algo que detete a falha, promova uma réplica e redirecione os clientes.

Qual é a diferença entre o Redis Sentinel e o Redis Cluster?

O Sentinel acrescenta promoção automática a um único dataset replicado. O Cluster distribui os dados por vários primários (sharding) e trata as falhas internamente. Um dá disponibilidade; o outro dá disponibilidade e escalabilidade de escrita.

De quantos processos Sentinel preciso?

Três, no mínimo. O failover exige acordo por quórum, e com três é possível tolerar a falha de um monitor e continuar a formar maioria. Com dois, não.

O Redis perde dados durante um failover?

Pode perder. A replicação do Redis é assíncrona, pelo que as escritas confirmadas pelo primário mas ainda não replicadas perdem-se quando ele falha. O min-replicas-to-write limita a exposição, recusando escritas quando há poucas réplicas ligadas.

Como decide o monitor que um primário está em baixo?

Um processo marca-o como subjetivamente em baixo quando não obtém resposta dentro de down-after-milliseconds. Quando um número suficiente de processos concorda e se atinge o quórum configurado, passa a estar objetivamente em baixo e o failover arranca.

Porque é que o Redis falha quando a memória parece normal?

Normalmente por causa do fork do save em segundo plano. Com copy-on-write, a memória pode aproximar-se do dobro do dataset durante um snapshot sob carga de escrita, pelo que um nó a 60 por cento de utilização pode ainda assim esgotar a RAM a meio do save. Dimensione para o pico mais o overhead do fork.

É possível ter Redis em alta disponibilidade no Kubernetes?

Sim, com StatefulSets, anti-affinity entre nós e zonas de disponibilidade e PodDisruptionBudgets que cubram tanto o Redis como o Sentinel. A falha mais comum é um rolling update fazer a eviction do primário e do quórum do Sentinel ao mesmo tempo.

Quantos nós precisa o Redis Cluster para ter alta disponibilidade?

Seis: três primários, cada um com uma réplica. Três primários é o conjunto mínimo capaz de formar maioria para a deteção de falhas e a eleição de réplicas enquanto um deles está em baixo, e uma réplica por primário é o que torna o failover sequer possível. Distribua os seis por, pelo menos, três domínios de falha e garanta que nenhum primário partilha host ou hipervisor com a sua própria réplica. Clusters maiores seguem a mesma regra: mantenha um número ímpar de primários sempre que possível e nunca tenha um primário sem réplica. O suporte para Redis da AceMQ cobre testes de failover e revisão da topologia, com objetivos de resposta a partir de 15 minutos, consoante o plano, 24 horas por dia.

Fontes

Scott Sternloff

Autor

Scott SternloffArquiteto empresarial sénior

Arquiteto empresarial sénior na AceMQ. Escreve aqui os conteúdos técnicos: arquitetura, clustering e migrações de RabbitMQ, Kafka e Redis.

Guias, comparações e estudos

Aprofunde o tema Redis

Consulta gratuita

Obtenha uma análise especializada de implementação Redis

Quer esteja a resolver um incidente em produção, a planear uma migração ou queira uma segunda opinião sobre a sua arquitetura, a nossa equipa está pronta. Sem discursos de vendas, apenas respostas.

Enviar e-mail