Visão geral
Um órgão do setor público rodava o Redis para vários workloads com necessidades de durabilidade diferentes, mas com uma única configuração herdada. Ninguém sabia dizer quais dados sobreviviam a uma falha de host e quais não. A AceMQ avaliou a implantação em relação aos requisitos reais de cada workload.
Desafio
As opções de persistência do Redis trocam durabilidade por latência de formas fáceis de configurar errado e difíceis de perceber até que aconteça uma falha. As instâncias do órgão usavam intervalos de snapshot que perderiam minutos de escritas, enquanto se supunha que alguns workloads eram duráveis. A replicação e o failover nunca tinham sido testados, então o comportamento da promoção e a perda de dados no failover eram desconhecidos.
Ambiente
Instâncias Redis on-premises com failover gerenciado pelo Sentinel, atendendo workloads de cache, filas e sessões.
Abordagem
A AceMQ classificou cada workload pela perda que ele realmente conseguia tolerar e comparou isso com o que a configuração atual garantia. O failover foi exercitado de forma deliberada, com a perda de dados medida em vez de estimada, para que a diferença entre a premissa e o comportamento real ficasse documentada com evidências.
Solução
- Classificação de cada workload pela perda de dados tolerável e comparação com o que a configuração realmente garante
- Revisão dos intervalos de snapshot e da política de fsync do append-only file em cada instância, em relação a esses requisitos
- Failover do Sentinel exercitado de forma deliberada, com medição da perda de dados e do tempo de promoção reais
- Avaliação da topologia de replicação, da configuração de quórum e da exposição a split-brain
- Verificação dos procedimentos de restauração a partir dos artefatos de persistência existentes, com testes de recuperação cronometrados
- Entrega de uma matriz de durabilidade por workload, com as mudanças de configuração necessárias para fechar cada lacuna
Resultado obtido
O órgão recebeu uma declaração documentada e baseada em evidências do que cada workload sobrevive, substituindo uma premissa que nunca tinha sido testada. Dois workloads que se acreditava serem duráveis não eram e foram reconfigurados antes que uma falha o demonstrasse.