Voltar para todos os casos de uso

CorreçãoMultissetorial

Como recuperar um domínio quando o snapshot em que você confiava não restaura

Prestadora de serviços de seguros

Recuperação emergencial de um domínio OpenSearch em que os restores de snapshots falhavam no meio do processo e deixavam índices em estado red.

Visão geral

Uma prestadora de serviços de seguros descobriu, durante um teste de DR, que os seus snapshots do OpenSearch não restauravam de forma limpa. Vários índices voltaram red e o restore foi abortado, o que significava que o plano de recuperação documentado não funcionava.

Desafio

O repositório de snapshots tinha sido reconfigurado em algum momento sem uma etapa de verificação do repositório, então parte dos arquivos de segmento ficou inacessível a partir do caminho atual do bucket. Os restores pareciam começar normalmente e depois falhavam em shards específicos. Para piorar, o domínio de destino rodava uma versão do engine mais nova do que vários dos snapshots mais antigos, então alguns índices estavam fora da faixa de restore suportada e não podiam ser restaurados diretamente de forma alguma.

Ambiente

Domínio OpenSearch gerenciado na AWS, com snapshots armazenados em object storage e retenção de vários anos nos índices de auditoria.

Abordagem

Tratamos primeiro o repositório como suspeito e o verificamos antes de tentar qualquer outro restore. Depois de saber quais snapshots estavam íntegros, reconstruímos o conjunto recuperável, restauramos os índices antigos demais por meio de uma versão intermediária e, em seguida, refizemos a configuração do repositório para que a verificação rode como parte do ciclo de snapshots, e não só durante um teste de DR.

Solução

  1. Verificação de todos os repositórios registrados para separar os snapshots íntegros dos inacessíveis
  2. Inspeção do status dos snapshots shard a shard para identificar exatamente quais índices eram recuperáveis no lugar
  3. Restauração dos índices mais antigos por meio de uma versão intermediária suportada do engine e reindexação para a versão atual, em vez de abandoná-los
  4. Correção do caminho do repositório e da política de acesso para que os novos snapshots gravem e leiam a partir de um único local consistente
  5. Verificação automática dos snapshots e um teste de restore agendado, para que as falhas apareçam em dias, e não durante um exercício de DR
  6. Runbook de recuperação reescrito com base no procedimento que realmente funcionou, com tempos medidos por categoria de índice

Resultado obtido

Todos os índices críticos para auditoria foram recuperados e o domínio voltou ao verde. O cliente agora tem um caminho de restore exercitado de ponta a ponta, e as falhas de verificação de snapshots acionam o plantão em vez de ficarem em silêncio até o próximo teste de DR.

Tecnologias

OpenSearchAmazon S3OpenSearch DashboardsLinux

Enfrentando um problema de produção com OpenSearch?

Os engenheiros OpenSearch sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.