개요
한 물류 기업은 Splunk 수집 한도를 반복적으로 초과하고 있었고, 비싼 갱신 계약을 앞두고 있었습니다. AceMQ는 수집량이 어디서 발생하는지 분석하고, 필요한 탐지 및 감사 기능을 하나도 잃지 않는 필터링 및 티어링 전략을 설계했습니다.
과제
일일 수집량의 상당 부분이 소수의 노이즈 소스에서 나오고 있었습니다. 정적 자산 요청까지 포함된 장황한 웹 액세스 로그, 예전 장애 때 켜 놓고 끄지 않은 디버그 출력, 두 에이전트가 같은 파일을 전달하던 중복 수집이었습니다. 이 데이터는 어떤 탐지 규칙이나 컴플라이언스 요건에서도 참조되지 않았지만, 분석 없이는 아무도 그 사실을 증명할 수 없었고, 나중에 중요한 것으로 밝혀질 로그를 지운 팀이 되고 싶어 하는 곳도 없었습니다.
환경
클라우드 및 온프레미스 소스에서 데이터를 수집하며, 보안 탐지와 감사 보존 요건이 적용되는 하이브리드 Splunk 배포 환경.
접근 방식
AceMQ는 요건 쪽에서부터 시작합니다. 모든 탐지 규칙, 대시보드, 컴플라이언스 의무를 각각 의존하는 데이터에 매핑합니다. 이 매핑에서 참조되지 않는 데이터는 모두 필터링 후보입니다. 양은 많지만 가끔 쓸모 있는 데이터는 버리지 않고 저렴한 오브젝트 스토리지로 라우팅해 필요할 때 다시 꺼낼 수 있게 합니다. 필터링은 포워딩 계층에서 수행해 수집량이 집계되기 전에 줄입니다.
해결책
- 소스, sourcetype, 호스트별로 수집량을 분류해 기여도 순위를 정확히 산출
- 모든 탐지 규칙, 예약 검색, 컴플라이언스 요건을 각각 의존하는 데이터에 매핑
- 어디에서도 참조되지 않음이 입증된 이벤트 유형에 대해 포워딩 계층에서 null 큐 라우팅 적용
- 장황한 소스를 발생 지점에서 축소: 디버그 로깅 비활성화, 정적 자산 요청 제외, 중복 수집 제거
- 양은 많지만 가끔 유용한 데이터를 조사 시 조회 경로가 확보된 오브젝트 스토리지로 라우팅
- 향후 로깅 변경이 여유 용량을 조용히 잠식하지 못하도록 수집량 모니터링과 소스별 예산 도입
성과
어떤 탐지 규칙이나 컴플라이언스 의무도 소스 데이터를 잃지 않은 채 일일 수집량이 약 3분의 1 줄었고, 이는 갱신 협상의 판도를 크게 바꾸었습니다. 이후 소스별 예산 덕분에 디버그 로깅 변경이 라이선스에 영향을 주기 전에 포착되었습니다.