Visão geral
Um prestador de serviços de seguros descobriu, durante um teste de DR, que os seus snapshots OpenSearch não restauravam corretamente. Vários índices regressavam em red e o restauro era abortado, o que significava que o plano de recuperação documentado não funcionava.
Desafio
O repositório de snapshots tinha sido reconfigurado a certa altura sem um passo de verificação do repositório, pelo que uma parte dos ficheiros de segmentos estava inacessível a partir do caminho atual do bucket. Os restauros pareciam arrancar normalmente e depois falhavam em shards concretos. Para agravar, o domínio de destino corria uma versão do motor mais recente do que vários dos snapshots mais antigos, pelo que alguns índices estavam fora do intervalo de restauro suportado e não podiam, de todo, ser restaurados diretamente.
Ambiente
Domínio OpenSearch gerido na AWS com snapshots guardados em armazenamento de objetos e retenção plurianual nos índices de auditoria.
Abordagem
Começámos por tratar o repositório como suspeito e verificámo-lo antes de tentar mais restauros. Sabendo que snapshots estavam intactos, reconstruímos o conjunto recuperável, restaurámos os índices demasiado antigos através de uma versão intermédia e reconstruímos depois a configuração do repositório, para que a verificação passe a fazer parte do ciclo de snapshots, e não apenas de um teste de DR.
Solução
- Verificação de todos os repositórios registados para separar os snapshots intactos dos inacessíveis
- Inspeção do estado dos snapshots shard a shard para identificar exatamente que índices eram recuperáveis no local
- Restauro dos índices mais antigos através de uma versão intermédia do motor suportada e reindexação para a versão atual, em vez de os abandonar
- Correção do caminho do repositório e da política de acesso para que os novos snapshots escrevam e leiam de um único local consistente
- Verificação automática de snapshots e um teste de restauro agendado para que as falhas surjam em dias, e não durante um exercício de DR
- Runbook de recuperação reescrito com base no procedimento que funcionou de facto, com tempos medidos por nível de índice
Resultado final
Todos os índices críticos para auditoria foram recuperados e o domínio voltou a green. O cliente tem agora um caminho de restauro testado de ponta a ponta, e as falhas de verificação de snapshots acionam o piquete em vez de ficarem silenciosas até ao próximo teste de DR.