Volver a todos los casos de uso

RemediaciónMultisectorial

Recuperar un dominio cuando el snapshot en el que confiaba no se puede restaurar

Proveedor de servicios de seguros

Recuperación de emergencia de un dominio de OpenSearch en el que las restauraciones de snapshots fallaban a mitad de camino y dejaban índices en estado rojo.

Descripción general

Un proveedor de servicios de seguros descubrió durante una prueba de DR que sus snapshots de OpenSearch no se restauraban correctamente. Varios índices volvían en rojo y la restauración se abortaba, lo que significaba que su plan de recuperación documentado no funcionaba.

Desafío

En algún momento se había reconfigurado el repositorio de snapshots sin un paso de verificación, así que una parte de los archivos de segmentos no era accesible desde la ruta actual del bucket. Las restauraciones parecían arrancar con normalidad y luego fallaban en shards específicos. Para colmo, el dominio de destino ejecutaba una versión del motor más reciente que varios de los snapshots más antiguos, por lo que algunos índices quedaban fuera del rango de restauración soportado y no podían restaurarse directamente de ninguna manera.

Entorno

Dominio administrado de OpenSearch en AWS con snapshots almacenados en almacenamiento de objetos y retención de varios años en los índices de auditoría.

Enfoque

Primero tratamos el repositorio como sospechoso y lo verificamos antes de intentar más restauraciones. Una vez que supimos qué snapshots estaban intactos, reconstruimos el conjunto recuperable, restauramos los índices demasiado antiguos a través de una versión intermedia y luego rehicimos la configuración del repositorio para que la verificación se ejecute como parte del ciclo de snapshots y no solo durante una prueba de DR.

Solución

  1. Verificación de todos los repositorios registrados para separar los snapshots intactos de los inaccesibles
  2. Inspección del estado de los snapshots shard por shard para identificar exactamente qué índices eran recuperables en su lugar
  3. Restauración de los índices más antiguos a través de una versión intermedia del motor con soporte y reindexación hacia adelante, en lugar de abandonarlos
  4. Corrección de la ruta y de la política de acceso del repositorio para que los nuevos snapshots se escriban y se lean desde una única ubicación coherente
  5. Verificación automatizada de snapshots y una prueba de restauración programada para que las fallas aparezcan en cuestión de días, no durante un ejercicio de DR
  6. Runbook de recuperación reescrito según el procedimiento que realmente funcionó, con tiempos medidos por nivel de índices

Resultado final

Se recuperaron todos los índices críticos para auditoría y el dominio volvió a estado verde. El cliente cuenta ahora con un camino de restauración probado de punta a punta, y las fallas de verificación de snapshots generan una alerta a la guardia en lugar de quedar en silencio hasta la próxima prueba de DR.

Tecnologías

OpenSearchAmazon S3OpenSearch DashboardsLinux

¿Enfrenta un problema de OpenSearch en producción?

Los ingenieros sénior de OpenSearch de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.