전체 사례로 돌아가기

문제 해결산업 공통

믿고 있던 스냅샷이 복원되지 않을 때 도메인을 복구하는 방법

보험 서비스 기업

스냅샷 복원이 도중에 실패하면서 인덱스가 red 상태로 남은 OpenSearch 도메인을 긴급 복구한 사례입니다.

개요

한 보험 서비스 기업은 DR 테스트 중 OpenSearch 스냅샷이 제대로 복원되지 않는다는 사실을 발견했습니다. 여러 인덱스가 red 상태로 돌아왔고 복원이 중단되었습니다. 문서화된 복구 계획이 작동하지 않는다는 뜻이었습니다.

과제

스냅샷 저장소는 어느 시점에 저장소 검증 단계 없이 재구성되었고, 그 결과 세그먼트 파일 일부를 현재 버킷 경로에서 찾을 수 없었습니다. 복원은 정상적으로 시작되는 듯하다가 특정 샤드에서 실패했습니다. 설상가상으로 대상 도메인은 오래된 스냅샷 여러 개보다 새로운 엔진 버전을 실행하고 있어서, 일부 인덱스는 지원되는 복원 범위를 벗어나 아예 직접 복원할 수 없었습니다.

환경

오브젝트 스토리지에 스냅샷을 저장하는 AWS 기반 매니지드 OpenSearch 도메인으로, 감사 인덱스는 수년간 보존하고 있었습니다.

접근 방식

먼저 저장소를 의심 대상으로 놓고, 추가 복원을 시도하기 전에 저장소부터 검증했습니다. 어떤 스냅샷이 온전한지 파악한 뒤 복구 가능한 집합을 재구성했고, 너무 오래된 인덱스는 중간 버전을 거치는 경로로 복원했습니다. 이후 검증이 DR 테스트 때만이 아니라 스냅샷 주기의 일부로 실행되도록 저장소 구성을 다시 만들었습니다.

해결책

  1. 등록된 모든 저장소에 저장소 검증을 실행해 온전한 스냅샷과 접근할 수 없는 스냅샷을 구분
  2. 스냅샷 상태를 샤드 단위로 점검해 그 자리에서 복구 가능한 인덱스를 정확히 파악
  3. 오래된 인덱스를 포기하지 않고, 지원되는 중간 엔진 버전으로 복원한 뒤 최신 버전으로 재인덱싱
  4. 새 스냅샷이 일관된 단일 위치에서 쓰고 읽도록 저장소 경로와 접근 정책 수정
  5. DR 훈련 때가 아니라 며칠 안에 실패가 드러나도록 자동 스냅샷 검증과 정기 복원 테스트 추가
  6. 실제로 효과가 있었던 절차를 기준으로, 인덱스 계층별 측정 소요 시간을 포함해 복구 런북 재작성

성과

감사상 중요한 인덱스를 모두 복구했고 도메인은 green 상태로 돌아왔습니다. 고객은 이제 처음부터 끝까지 실제로 검증된 복원 경로를 갖추었으며, 스냅샷 검증 실패는 다음 DR 테스트까지 묻혀 있지 않고 즉시 온콜 담당자를 호출합니다.

기술

OpenSearchAmazon S3OpenSearch DashboardsLinux

OpenSearch 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 OpenSearch 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.