Visão geral
Uma prestadora de serviços de seguros descobriu, durante um teste de DR, que os seus snapshots do OpenSearch não restauravam de forma limpa. Vários índices voltaram red e o restore foi abortado, o que significava que o plano de recuperação documentado não funcionava.
Desafio
O repositório de snapshots tinha sido reconfigurado em algum momento sem uma etapa de verificação do repositório, então parte dos arquivos de segmento ficou inacessível a partir do caminho atual do bucket. Os restores pareciam começar normalmente e depois falhavam em shards específicos. Para piorar, o domínio de destino rodava uma versão do engine mais nova do que vários dos snapshots mais antigos, então alguns índices estavam fora da faixa de restore suportada e não podiam ser restaurados diretamente de forma alguma.
Ambiente
Domínio OpenSearch gerenciado na AWS, com snapshots armazenados em object storage e retenção de vários anos nos índices de auditoria.
Abordagem
Tratamos primeiro o repositório como suspeito e o verificamos antes de tentar qualquer outro restore. Depois de saber quais snapshots estavam íntegros, reconstruímos o conjunto recuperável, restauramos os índices antigos demais por meio de uma versão intermediária e, em seguida, refizemos a configuração do repositório para que a verificação rode como parte do ciclo de snapshots, e não só durante um teste de DR.
Solução
- Verificação de todos os repositórios registrados para separar os snapshots íntegros dos inacessíveis
- Inspeção do status dos snapshots shard a shard para identificar exatamente quais índices eram recuperáveis no lugar
- Restauração dos índices mais antigos por meio de uma versão intermediária suportada do engine e reindexação para a versão atual, em vez de abandoná-los
- Correção do caminho do repositório e da política de acesso para que os novos snapshots gravem e leiam a partir de um único local consistente
- Verificação automática dos snapshots e um teste de restore agendado, para que as falhas apareçam em dias, e não durante um exercício de DR
- Runbook de recuperação reescrito com base no procedimento que realmente funcionou, com tempos medidos por categoria de índice
Resultado obtido
Todos os índices críticos para auditoria foram recuperados e o domínio voltou ao verde. O cliente agora tem um caminho de restore exercitado de ponta a ponta, e as falhas de verificação de snapshots acionam o plantão em vez de ficarem em silêncio até o próximo teste de DR.