전체 사례로 돌아가기

기술 지원금융 서비스 / 트레이딩

지금 당장 검색이 필요한 분석가를 위해 여유를 남겨 두는 검색 동시성

금융 서비스 그룹

예약 검색은 건너뛰어지고, 임시 검색은 대기열에 쌓이며, 분석가들은 플랫폼을 탓하던 Splunk 환경에 대한 지속적인 기술 지원 사례입니다.

개요

한 금융 서비스 그룹의 Splunk 서치 헤드는 포화 상태였습니다. 예약 검색이 수시로 건너뛰어졌고, 조사를 진행하던 분석가들은 자신의 검색이 보고서 작업 뒤에서 대기하는 상황을 겪었습니다. AceMQ는 검색 워크로드를 튜닝하는 지속적인 기술 지원을 제공합니다.

과제

수년에 걸쳐 수백 개의 예약 검색이 만들어졌고, 대부분은 필요와 관계없이 5분마다 24시간 범위를 대상으로 실행되도록 설정되어 있었습니다. 동시성 한도에 끊임없이 도달하면서 스케줄러가 검색을 건너뛰었는데, 그중에는 컴플라이언스 보고서에 데이터를 공급하는 검색도 여럿 있었습니다. 건너뛴 검색은 기본적으로 알림을 발생시키지 않기 때문에 아무도 이를 알아차리지 못했습니다. 가장 무거운 검색 상당수는 데이터 모델 가속이나 요약 인덱스가 더 적합한 상황에서 원시 이벤트 스캔을 사용하고 있었습니다.

환경

보안 운영, 컴플라이언스 보고, 비즈니스 분석 팀이 사용하는 온프레미스 Splunk 서치 헤드 클러스터.

접근 방식

검색 워크로드는 다시 늘어나기 마련이므로, 이 기술 지원은 일회성 수정이 아니라 지속적인 튜닝입니다. 소유자별 건너뛰기 비율과 검색 비용을 추적하고, 비싼 검색을 재작성하며, 모든 검색이 같은 시점에 실행되지 않도록 일정을 분산하고, 장애를 조사하는 분석가가 보고서 뒤에서 대기하는 일이 없도록 동시성을 확보해 둡니다.

해결책

  1. 플랜에 따라 15분부터 시작하는 대응 목표를 갖춘 24/7 기술 지원과, 검색 환경과 그 소유자를 잘 아는 전담 시니어 엔지니어
  2. 건너뛴 검색에 대한 알림을 구성해 컴플라이언스 보고 공백이 조용히 묻히지 않고 즉시 드러나도록 조치
  3. 소유자와 앱별 검색 비용 프로파일링으로, 불만 건수가 아닌 리소스 소비량 기준으로 검색 순위 산정
  4. 쿼리 형태가 허용하는 경우 무거운 원시 스캔 검색을 가속 데이터 모델이나 요약 인덱스 기반으로 재작성
  5. 검색이 같은 간격 경계에 몰리지 않도록 스케줄 윈도와 cron 시차 적용
  6. 예약 보고와 분리해 임시 조사용 동시성을 확보하는 워크로드 관리 규칙

성과

건너뛴 검색은 무시할 수 있는 수준으로 줄었고 컴플라이언스 보고 공백도 해소되었습니다. 이제 조사를 진행하는 분석가들의 검색은 보고서 작업 뒤에서 기다리지 않고 즉시 스케줄링됩니다.

기술

SplunkLinuxSyslog

Splunk 전문 기술 지원이 필요하신가요?

AceMQ의 시니어 Splunk 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.