Torna a tutti i casi d'uso

RemediationTrasversale

Recuperare un dominio quando lo snapshot su cui si contava non si lascia ripristinare

Fornitore di servizi assicurativi

Ripristino d'emergenza di un dominio OpenSearch in cui i restore degli snapshot fallivano a metà, lasciando gli indici in stato red.

Panoramica

Un fornitore di servizi assicurativi ha scoperto durante un test di DR che i propri snapshot OpenSearch non si ripristinavano correttamente. Diversi indici tornavano in stato red e il restore si interrompeva, il che significava che il piano di ripristino documentato non funzionava.

Sfida

A un certo punto il repository degli snapshot era stato riconfigurato senza alcuna verifica del repository, per cui una parte dei file di segmento non era raggiungibile dal percorso attuale del bucket. I restore sembravano partire normalmente e poi fallivano su shard specifici. A complicare le cose, il dominio di destinazione eseguiva una versione del motore più recente di quella di diversi snapshot più vecchi, per cui alcuni indici erano fuori dall'intervallo di restore supportato e non potevano affatto essere ripristinati direttamente.

Ambiente

Dominio OpenSearch gestito su AWS con snapshot conservati in object storage e retention pluriennale sugli indici di audit.

Approccio

Abbiamo considerato sospetto innanzitutto il repository e lo abbiamo verificato prima di tentare qualsiasi altro restore. Una volta stabilito quali snapshot fossero integri, abbiamo ricostruito l'insieme recuperabile, ripristinato gli indici troppo vecchi passando per una versione intermedia e infine ricostruito la configurazione del repository, così che la verifica venga eseguita come parte del ciclo degli snapshot e non solo durante un test di DR.

Soluzione

  1. Verifica di ogni repository registrato per distinguere gli snapshot integri da quelli irraggiungibili
  2. Analisi dello stato degli snapshot shard per shard per individuare con esattezza quali indici fossero recuperabili sul posto
  3. Ripristino degli indici più vecchi tramite una versione intermedia supportata del motore e successiva reindicizzazione in avanti, anziché abbandonarli
  4. Correzione del percorso del repository e della policy di accesso, così che i nuovi snapshot vengano scritti e letti da un'unica posizione coerente
  5. Aggiunta della verifica automatica degli snapshot e di un test di restore pianificato, così che i guasti emergano nel giro di pochi giorni e non durante un'esercitazione di DR
  6. Runbook di ripristino riscritto sulla base della procedura che ha funzionato davvero, con tempi misurati per ciascun livello di indici

Esito

Tutti gli indici critici per l'audit sono stati recuperati e il dominio è tornato in stato green. Il cliente dispone ora di un percorso di restore collaudato end-to-end, e i fallimenti della verifica degli snapshot fanno scattare l'allerta al reperibile anziché restare silenti fino al test di DR successivo.

Tecnologie

OpenSearchAmazon S3OpenSearch DashboardsLinux

Avete un problema di produzione su OpenSearch?

Gli ingegneri OpenSearch senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.