전체 사례로 돌아가기

문제 해결금융 서비스 / 결제

멈춰 버린 Elasticsearch 클러스터를 데이터 손실 없이 Green 상태로 복구

글로벌 결제 처리 기업

데이터 노드 장애 이후 디스크 워터마크에 막혀 레플리카가 할당되지 않으면서 Green 상태로 돌아오지 못하던 Elasticsearch 클러스터를 긴급 복구했습니다.

개요

한 결제 플랫폼은 하드웨어 장애로 데이터 노드 하나를 잃었고, 클러스터는 끝내 Green 상태로 돌아오지 못했습니다. 레플리카 샤드는 며칠 동안 미할당 상태로 남았고, 검색 트래픽은 단일 사본으로 처리되어, 장애가 한 번만 더 나면 실제 데이터 손실로 이어질 수 있는 상황이었습니다.

과제

남은 노드들이 flood-stage 디스크 워터마크를 넘어서면서 Elasticsearch가 read-only-allow-delete 인덱스 블록을 적용했고, 누락된 레플리카 할당을 거부했습니다. allocation explain 출력은 워터마크를 원인으로 가리켰지만, 계획했던 delete-by-query 정리 작업도 이 블록에 막혀 팀은 공간을 확보할 수 없었습니다. 그사이 핫 인덱스의 트랜스로그는 계속 커지고 있었습니다.

환경

베어메탈 기반 약 20개 데이터 노드의 Elasticsearch 클러스터, 핫-웜 계층 구성, 수 TB 규모의 인덱싱된 거래 및 감사 데이터.

접근 방식

AceMQ 엔지니어는 추측하지 않고 allocation explain API부터 확인한 뒤, 블록을 안전하게 해제할 수 있는 순서로 디스크 압박을 낮춰 갔습니다. 오래된 인덱스를 웜 계층으로 옮기고, 읽기 전용 세그먼트를 force-merge해 삭제된 문서가 차지하던 공간을 회수한 다음, 인덱스 블록을 해제하고 복구 속도를 제한한 상태에서 할당을 재개했습니다. 이렇게 해서 재구축 중에 클러스터가 자체 네트워크를 포화시키지 않도록 했습니다.

해결책

  1. 미할당 샤드마다 클러스터 allocation explain 출력을 확인해, 손상이 아니라 워터마크가 원인임을 확인
  2. 오래된 인덱스를 웜 계층 노드로 재배치하고 읽기 전용 인덱스를 force-merge해 삭제된 문서의 공간 회수
  3. flood stage를 다시 넘지 않도록 여유 공간을 확보한 뒤에만 read-only-allow-delete 블록 해제
  4. 레플리카 복구가 실시간 쿼리 트래픽을 밀어내지 않도록 재구축 중 indices.recovery.max_bytes_per_sec 제한
  5. 현실적인 여유를 둔 low/high/flood 워터마크를 명시적으로 설정하고, high 워터마크 이전 단계에 디스크 알림 추가
  6. 고객사 온콜 담당자가 에스컬레이션 없이 같은 상황을 해소할 수 있도록 복구 런북 문서화

성과

모든 레플리카가 할당되고 인덱스 손실 없이 클러스터가 Green 상태로 돌아왔습니다. 이제 워터마크 알림이 flood stage보다 훨씬 앞서 울리기 때문에 고객사는 다시는 읽기 전용 블록에 걸리지 않았고, 노드 교체는 장애가 아니라 일상적인 유지보수 작업이 되었습니다.

기술

ElasticsearchKibanaLinuxKubernetes

Elasticsearch 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 Elasticsearch 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.