Panoramica
Un fornitore di servizi assicurativi ha scoperto durante un test di DR che i propri snapshot OpenSearch non si ripristinavano correttamente. Diversi indici tornavano in stato red e il restore si interrompeva, il che significava che il piano di ripristino documentato non funzionava.
Sfida
A un certo punto il repository degli snapshot era stato riconfigurato senza alcuna verifica del repository, per cui una parte dei file di segmento non era raggiungibile dal percorso attuale del bucket. I restore sembravano partire normalmente e poi fallivano su shard specifici. A complicare le cose, il dominio di destinazione eseguiva una versione del motore più recente di quella di diversi snapshot più vecchi, per cui alcuni indici erano fuori dall'intervallo di restore supportato e non potevano affatto essere ripristinati direttamente.
Ambiente
Dominio OpenSearch gestito su AWS con snapshot conservati in object storage e retention pluriennale sugli indici di audit.
Approccio
Abbiamo considerato sospetto innanzitutto il repository e lo abbiamo verificato prima di tentare qualsiasi altro restore. Una volta stabilito quali snapshot fossero integri, abbiamo ricostruito l'insieme recuperabile, ripristinato gli indici troppo vecchi passando per una versione intermedia e infine ricostruito la configurazione del repository, così che la verifica venga eseguita come parte del ciclo degli snapshot e non solo durante un test di DR.
Soluzione
- Verifica di ogni repository registrato per distinguere gli snapshot integri da quelli irraggiungibili
- Analisi dello stato degli snapshot shard per shard per individuare con esattezza quali indici fossero recuperabili sul posto
- Ripristino degli indici più vecchi tramite una versione intermedia supportata del motore e successiva reindicizzazione in avanti, anziché abbandonarli
- Correzione del percorso del repository e della policy di accesso, così che i nuovi snapshot vengano scritti e letti da un'unica posizione coerente
- Aggiunta della verifica automatica degli snapshot e di un test di restore pianificato, così che i guasti emergano nel giro di pochi giorni e non durante un'esercitazione di DR
- Runbook di ripristino riscritto sulla base della procedura che ha funzionato davvero, con tempi misurati per ciascun livello di indici
Esito
Tutti gli indici critici per l'audit sono stati recuperati e il dominio è tornato in stato green. Il cliente dispone ora di un percorso di restore collaudato end-to-end, e i fallimenti della verifica degli snapshot fanno scattare l'allerta al reperibile anziché restare silenti fino al test di DR successivo.