Voltar para todos os casos de uso

AvaliaçãoGoverno / defesa

Estabelecendo o que é de fato recuperável e o que não é

Órgão do setor público

Avaliação da configuração de persistência, da topologia de replicação e do comportamento de failover em relação à durabilidade que os workloads realmente exigem.

Visão geral

Um órgão do setor público rodava o Redis para vários workloads com necessidades de durabilidade diferentes, mas com uma única configuração herdada. Ninguém sabia dizer quais dados sobreviviam a uma falha de host e quais não. A AceMQ avaliou a implantação em relação aos requisitos reais de cada workload.

Desafio

As opções de persistência do Redis trocam durabilidade por latência de formas fáceis de configurar errado e difíceis de perceber até que aconteça uma falha. As instâncias do órgão usavam intervalos de snapshot que perderiam minutos de escritas, enquanto se supunha que alguns workloads eram duráveis. A replicação e o failover nunca tinham sido testados, então o comportamento da promoção e a perda de dados no failover eram desconhecidos.

Ambiente

Instâncias Redis on-premises com failover gerenciado pelo Sentinel, atendendo workloads de cache, filas e sessões.

Abordagem

A AceMQ classificou cada workload pela perda que ele realmente conseguia tolerar e comparou isso com o que a configuração atual garantia. O failover foi exercitado de forma deliberada, com a perda de dados medida em vez de estimada, para que a diferença entre a premissa e o comportamento real ficasse documentada com evidências.

Solução

  1. Classificação de cada workload pela perda de dados tolerável e comparação com o que a configuração realmente garante
  2. Revisão dos intervalos de snapshot e da política de fsync do append-only file em cada instância, em relação a esses requisitos
  3. Failover do Sentinel exercitado de forma deliberada, com medição da perda de dados e do tempo de promoção reais
  4. Avaliação da topologia de replicação, da configuração de quórum e da exposição a split-brain
  5. Verificação dos procedimentos de restauração a partir dos artefatos de persistência existentes, com testes de recuperação cronometrados
  6. Entrega de uma matriz de durabilidade por workload, com as mudanças de configuração necessárias para fechar cada lacuna

Resultado obtido

O órgão recebeu uma declaração documentada e baseada em evidências do que cada workload sobrevive, substituindo uma premissa que nunca tinha sido testada. Dois workloads que se acreditava serem duráveis não eram e foram reconfigurados antes que uma falha o demonstrasse.

Tecnologias

RedisRedis SentinelLinuxPrometheus

Pronto para um health check do Redis?

Os engenheiros Redis sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.