전체 사례로 돌아가기

진단공공 / 국방

하드웨어는 충분한데도 클러스터가 느리게 느껴지는 이유 찾기

공공 기관

클러스터 상태 크기와 대기 작업 큐 때문에 마스터가 불안정해진, 샤드가 과도하게 분할된 Elasticsearch 클러스터를 진단했습니다.

개요

수년간 일별 인덱스를 운영해 온 한 기관에는 작은 샤드가 수만 개 쌓여 있었습니다. 하드웨어를 추가해도 더 이상 나아지지 않았고, 마스터 선출이 인덱싱을 중단시킬 만큼 오래 걸렸습니다. AceMQ는 문제가 용량인지 설계인지 판단하기 위해 클러스터를 진단했습니다.

과제

일별 인덱스는 데이터가 몇 메가바이트이든 수백 기가바이트이든 모두 기본 샤드 수를 갖고 있었습니다. 그 결과 클러스터 상태가 너무 커져, 업데이트를 모든 노드에 게시하는 데 몇 초씩 걸렸고, 그 뒤로 대기 작업이 밀렸으며, 마스터 페일오버가 일어날 때마다 몇 분짜리 장애로 이어졌습니다. 어떤 다운스트림 검색이 기존 인덱스 명명 규칙에 의존하는지 불분명했기 때문에 아무도 인덱스 템플릿을 안전하게 바꿀 수 없었습니다.

환경

수년간 보존되는 시간 기반 일별 인덱스와 로그 및 문서 검색 워크로드가 혼재된 온프레미스 Elasticsearch 클러스터.

접근 방식

진단에서는 인덱스 패턴별 샤드 수와 크기 분포를 목록화하고, 클러스터 상태 크기와 게시 지연을 측정하며, 실제로 쿼리를 받는 인덱스가 무엇인지 매핑합니다. 구조를 바꿔야 하는 인덱스와 단순히 롤업하거나 삭제하면 되는 인덱스를 구분하고, 고객사가 일반 유지보수 시간에 실행할 수 있도록 순서가 정해진 계획을 제공합니다.

해결책

  1. 인덱스 패턴별 크기 분포를 포함한 전체 샤드 목록으로, 적정 크기보다 훨씬 작거나 큰 샤드를 만드는 패턴을 드러냄
  2. 마스터 오버헤드를 직접 정량화하기 위해 클러스터 상태 크기와 게시 지연 측정
  3. 보존 결정이 정책상의 가정이 아니라 근거에 따라 이루어지도록 인덱스별 쿼리 트래픽 매핑
  4. 크기 및 기간 조건을 사용하는 ILM 기반의 목표 샤드 크기와 롤오버 전략 권고
  5. 검색 가용성을 계속 유지하는 순서로 shrink, 재인덱싱, 롤업 단계를 다루는 단계별 개선 계획
  6. 통합 이후 클러스터에 실제로 필요한 용량을 보여 주어 불필요한 하드웨어 구매를 피하는 용량 모델

성과

일별 인덱스를 통합하고 오래된 데이터를 롤업하자 샤드 수가 대폭 줄었고, 클러스터 상태 게시 시간도 이전의 일부 수준으로 단축되었습니다. 마스터 페일오버는 더 이상 문제가 되지 않으며, 계획했던 하드웨어 증설은 보류되었습니다.

기술

ElasticsearchKibanaLinux

Elasticsearch 헬스 체크를 받을 준비가 되셨나요?

AceMQ의 시니어 Elasticsearch 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.