개요
한 에너지 유틸리티 기업은 서버 전반에서 뚜렷한 원인 없이 간헐적으로 로그가 누락되는 문제를 겪고 있었습니다. 누락을 거슬러 올라가 보니 Logstash를 거쳐, 사용 가능한 CPU 대부분을 소모하는 소수의 필터 패턴에 이르렀습니다.
과제
여러 grok 패턴이 선행 와일드카드와 중첩된 선택적 그룹으로 작성되어 있어, 예상한 형태와 맞지 않는 로그 줄에서 치명적인 백트래킹이 발생했습니다. 잘못된 형식의 줄 하나가 워커 스레드를 아주 오랫동안 점유할 수 있었습니다. 워커가 묶이자 영구 큐가 가득 찼고, Logstash가 Beats 입력에 백프레셔를 걸면서 에이전트가 전송을 멈췄습니다. 큐가 마침내 비워지자 에이전트는 레지스트리에서 다시 시작했지만, 그사이 로테이션된 파일은 이미 사라진 뒤였습니다.
환경
대규모 서버에 Filebeat 에이전트를 배포하고, Logstash 계층에서 파싱과 보강을 수행하는 온프레미스 ELK Stack.
접근 방식
눈으로 보고 최적화하는 대신, 필터 파이프라인을 프로파일링해 실제로 시간이 어디에 쓰이는지 찾았습니다. 문제의 패턴을 식별한 뒤에는 앵커를 둔 표현식으로 다시 작성하고 형식이 고정된 곳에는 dissect를 적용했으며, 잘못된 줄 하나가 서버 전체를 멈추게 하는 대신 이벤트 하나만 처리 품질이 떨어지도록 파이프라인의 복원력을 높였습니다.
해결책
- 필터별로 파이프라인을 프로파일링해 CPU 시간을 과도하게 소모하는 특정 패턴 식별
- 치명적인 백트래킹을 일으키는 grok 패턴을 앵커 기반으로 재작성하고, 로그 형식이 고정된 곳은 dissect로 대체
- 파싱할 수 없는 줄은 태그를 붙여 통과시키고 워커를 절대 막지 않도록 타임아웃 및 tag-on-failure 동작 구성
- 기본값이 아니라 측정한 처리량을 기준으로 영구 큐 크기와 워커 수 튜닝
- 백프레셔로 멈추더라도 로테이션된 파일을 잃지 않도록 Beats 레지스트리 및 파일 로테이션 설정 조정
- 누락이 생기기 전에 백프레셔 징후를 볼 수 있도록 큐 깊이 및 필터 처리 시간 모니터링 추가
성과
문제의 패턴을 제거하자 로그 누락이 완전히 멈췄고, 같은 하드웨어에서 파이프라인 처리량이 몇 배로 늘었습니다. 이제 큐 깊이 알림이 에이전트가 멈추기 훨씬 전에 압박을 드러냅니다.