Descripción general
Un proveedor de servicios de seguros descubrió durante una prueba de DR que sus snapshots de OpenSearch no se restauraban correctamente. Varios índices volvían en rojo y la restauración se abortaba, lo que significaba que su plan de recuperación documentado no funcionaba.
Reto
El repositorio de snapshots se había reconfigurado en algún momento sin un paso de verificación del repositorio, de modo que parte de los ficheros de segmentos no eran accesibles desde la ruta actual del bucket. Las restauraciones parecían arrancar con normalidad y luego fallaban en shards concretos. Para colmo, el dominio de destino ejecutaba una versión del motor más reciente que varios de los snapshots antiguos, así que algunos índices quedaban fuera del rango de restauración admitido y no podían restaurarse directamente de ninguna manera.
Entorno
Dominio gestionado de OpenSearch en AWS con snapshots almacenados en almacenamiento de objetos y retención de varios años en los índices de auditoría.
Enfoque
Lo primero fue tratar el repositorio como sospechoso y verificarlo antes de intentar más restauraciones. Una vez que supimos qué snapshots estaban intactos, reconstruimos el conjunto recuperable, restauramos los índices demasiado antiguos a través de una versión intermedia y, después, rehicimos la configuración del repositorio para que la verificación forme parte del ciclo de snapshots y no se haga solo durante una prueba de DR.
Solución
- Verificación de todos los repositorios registrados para separar los snapshots intactos de los inaccesibles
- Inspección del estado de los snapshots shard a shard para identificar con exactitud qué índices eran recuperables in situ
- Restauración de los índices más antiguos a través de una versión intermedia del motor admitida y reindexación hacia delante, en lugar de abandonarlos
- Corrección de la ruta del repositorio y de la política de acceso para que los nuevos snapshots se escriban y se lean desde una única ubicación coherente
- Verificación automatizada de los snapshots y una prueba de restauración programada para que los fallos salgan a la luz en días, no durante un ejercicio de DR
- Reescritura del runbook de recuperación a partir del procedimiento que realmente funcionó, con tiempos medidos por nivel de índice
Resultado final
Se recuperaron todos los índices críticos para la auditoría y el dominio volvió a verde. El cliente dispone ahora de una ruta de restauración probada de principio a fin, y los fallos de verificación de los snapshots avisan a la guardia en lugar de quedar en silencio hasta la siguiente prueba de DR.