Descripción general
Un proveedor de servicios de seguros descubrió durante una prueba de DR que sus snapshots de OpenSearch no se restauraban correctamente. Varios índices volvían en rojo y la restauración se abortaba, lo que significaba que su plan de recuperación documentado no funcionaba.
Desafío
En algún momento se había reconfigurado el repositorio de snapshots sin un paso de verificación, así que una parte de los archivos de segmentos no era accesible desde la ruta actual del bucket. Las restauraciones parecían arrancar con normalidad y luego fallaban en shards específicos. Para colmo, el dominio de destino ejecutaba una versión del motor más reciente que varios de los snapshots más antiguos, por lo que algunos índices quedaban fuera del rango de restauración soportado y no podían restaurarse directamente de ninguna manera.
Entorno
Dominio administrado de OpenSearch en AWS con snapshots almacenados en almacenamiento de objetos y retención de varios años en los índices de auditoría.
Enfoque
Primero tratamos el repositorio como sospechoso y lo verificamos antes de intentar más restauraciones. Una vez que supimos qué snapshots estaban intactos, reconstruimos el conjunto recuperable, restauramos los índices demasiado antiguos a través de una versión intermedia y luego rehicimos la configuración del repositorio para que la verificación se ejecute como parte del ciclo de snapshots y no solo durante una prueba de DR.
Solución
- Verificación de todos los repositorios registrados para separar los snapshots intactos de los inaccesibles
- Inspección del estado de los snapshots shard por shard para identificar exactamente qué índices eran recuperables en su lugar
- Restauración de los índices más antiguos a través de una versión intermedia del motor con soporte y reindexación hacia adelante, en lugar de abandonarlos
- Corrección de la ruta y de la política de acceso del repositorio para que los nuevos snapshots se escriban y se lean desde una única ubicación coherente
- Verificación automatizada de snapshots y una prueba de restauración programada para que las fallas aparezcan en cuestión de días, no durante un ejercicio de DR
- Runbook de recuperación reescrito según el procedimiento que realmente funcionó, con tiempos medidos por nivel de índices
Resultado final
Se recuperaron todos los índices críticos para auditoría y el dominio volvió a estado verde. El cliente cuenta ahora con un camino de restauración probado de punta a punta, y las fallas de verificación de snapshots generan una alerta a la guardia en lugar de quedar en silencio hasta la próxima prueba de DR.