전체 사례로 돌아가기

컨설팅산업 공통

누구에게나 실제로 필요한 데이터는 그대로 두고 수집량만 줄입니다

글로벌 물류 기업

보안 및 컴플라이언스 커버리지를 잃지 않으면서 필터링, 라우팅, 티어링으로 Splunk 일일 수집량을 줄이는 컨설팅 프로젝트입니다.

개요

한 물류 기업은 Splunk 수집 한도를 반복적으로 초과하고 있었고, 비싼 갱신 계약을 앞두고 있었습니다. AceMQ는 수집량이 어디서 발생하는지 분석하고, 필요한 탐지 및 감사 기능을 하나도 잃지 않는 필터링 및 티어링 전략을 설계했습니다.

과제

일일 수집량의 상당 부분이 소수의 노이즈 소스에서 나오고 있었습니다. 정적 자산 요청까지 포함된 장황한 웹 액세스 로그, 예전 장애 때 켜 놓고 끄지 않은 디버그 출력, 두 에이전트가 같은 파일을 전달하던 중복 수집이었습니다. 이 데이터는 어떤 탐지 규칙이나 컴플라이언스 요건에서도 참조되지 않았지만, 분석 없이는 아무도 그 사실을 증명할 수 없었고, 나중에 중요한 것으로 밝혀질 로그를 지운 팀이 되고 싶어 하는 곳도 없었습니다.

환경

클라우드 및 온프레미스 소스에서 데이터를 수집하며, 보안 탐지와 감사 보존 요건이 적용되는 하이브리드 Splunk 배포 환경.

접근 방식

AceMQ는 요건 쪽에서부터 시작합니다. 모든 탐지 규칙, 대시보드, 컴플라이언스 의무를 각각 의존하는 데이터에 매핑합니다. 이 매핑에서 참조되지 않는 데이터는 모두 필터링 후보입니다. 양은 많지만 가끔 쓸모 있는 데이터는 버리지 않고 저렴한 오브젝트 스토리지로 라우팅해 필요할 때 다시 꺼낼 수 있게 합니다. 필터링은 포워딩 계층에서 수행해 수집량이 집계되기 전에 줄입니다.

해결책

  1. 소스, sourcetype, 호스트별로 수집량을 분류해 기여도 순위를 정확히 산출
  2. 모든 탐지 규칙, 예약 검색, 컴플라이언스 요건을 각각 의존하는 데이터에 매핑
  3. 어디에서도 참조되지 않음이 입증된 이벤트 유형에 대해 포워딩 계층에서 null 큐 라우팅 적용
  4. 장황한 소스를 발생 지점에서 축소: 디버그 로깅 비활성화, 정적 자산 요청 제외, 중복 수집 제거
  5. 양은 많지만 가끔 유용한 데이터를 조사 시 조회 경로가 확보된 오브젝트 스토리지로 라우팅
  6. 향후 로깅 변경이 여유 용량을 조용히 잠식하지 못하도록 수집량 모니터링과 소스별 예산 도입

성과

어떤 탐지 규칙이나 컴플라이언스 의무도 소스 데이터를 잃지 않은 채 일일 수집량이 약 3분의 1 줄었고, 이는 갱신 협상의 판도를 크게 바꾸었습니다. 이후 소스별 예산 덕분에 디버그 로깅 변경이 라이선스에 영향을 주기 전에 포착되었습니다.

기술

SplunkAmazon S3LinuxKafka

Splunk 아키텍처 가이드가 필요하신가요?

AceMQ의 시니어 Splunk 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.