Voltar a todos os casos de utilização

CorreçãoTransversal a vários setores

Recuperar um domínio quando o snapshot em que confiava não restaura

Prestador de serviços de seguros

Recuperação de emergência de um domínio OpenSearch em que os restauros de snapshots falhavam a meio e deixavam índices em estado red.

Visão geral

Um prestador de serviços de seguros descobriu, durante um teste de DR, que os seus snapshots OpenSearch não restauravam corretamente. Vários índices regressavam em red e o restauro era abortado, o que significava que o plano de recuperação documentado não funcionava.

Desafio

O repositório de snapshots tinha sido reconfigurado a certa altura sem um passo de verificação do repositório, pelo que uma parte dos ficheiros de segmentos estava inacessível a partir do caminho atual do bucket. Os restauros pareciam arrancar normalmente e depois falhavam em shards concretos. Para agravar, o domínio de destino corria uma versão do motor mais recente do que vários dos snapshots mais antigos, pelo que alguns índices estavam fora do intervalo de restauro suportado e não podiam, de todo, ser restaurados diretamente.

Ambiente

Domínio OpenSearch gerido na AWS com snapshots guardados em armazenamento de objetos e retenção plurianual nos índices de auditoria.

Abordagem

Começámos por tratar o repositório como suspeito e verificámo-lo antes de tentar mais restauros. Sabendo que snapshots estavam intactos, reconstruímos o conjunto recuperável, restaurámos os índices demasiado antigos através de uma versão intermédia e reconstruímos depois a configuração do repositório, para que a verificação passe a fazer parte do ciclo de snapshots, e não apenas de um teste de DR.

Solução

  1. Verificação de todos os repositórios registados para separar os snapshots intactos dos inacessíveis
  2. Inspeção do estado dos snapshots shard a shard para identificar exatamente que índices eram recuperáveis no local
  3. Restauro dos índices mais antigos através de uma versão intermédia do motor suportada e reindexação para a versão atual, em vez de os abandonar
  4. Correção do caminho do repositório e da política de acesso para que os novos snapshots escrevam e leiam de um único local consistente
  5. Verificação automática de snapshots e um teste de restauro agendado para que as falhas surjam em dias, e não durante um exercício de DR
  6. Runbook de recuperação reescrito com base no procedimento que funcionou de facto, com tempos medidos por nível de índice

Resultado final

Todos os índices críticos para auditoria foram recuperados e o domínio voltou a green. O cliente tem agora um caminho de restauro testado de ponta a ponta, e as falhas de verificação de snapshots acionam o piquete em vez de ficarem silenciosas até ao próximo teste de DR.

Tecnologias

OpenSearchAmazon S3OpenSearch DashboardsLinux

Tem um problema de produção com OpenSearch?

Os engenheiros seniores de OpenSearch da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.