개요
한 커머스 플랫폼의 ELK 수집 구조는 취약했습니다. Elasticsearch가 조금만 느려져도 로그를 생성하는 애플리케이션까지 영향이 전파되었습니다. AceMQ는 프로듀서와 검색 클러스터를 분리하는 버퍼링 아키텍처를 설계했습니다.
과제
Beats가 Elasticsearch에 동기식으로 쓰는 Logstash 계층으로 로그를 직접 전송했기 때문에, 인덱싱이 조금만 느려져도 백프레셔가 로그 프로듀서까지 그대로 전달되었습니다. 클러스터 유지보수 중에는 데이터 손실을 감수하거나 애플리케이션을 막는 것 외에 선택지가 없었습니다. 게다가 팀마다 필드 이름 규칙이 달라서, 서비스 간에 요청 하나를 추적하려면 같은 식별자의 서로 다른 이름 세 가지를 알아야 했고, 이를 모두 처리하는 파싱 로직은 점점 유지보수가 불가능해지는 하나의 Logstash 구성에 몰려 있었습니다.
환경
수십 개 서비스에서 로그를 수집하며 로그 양과 참여 팀이 모두 늘어나고 있는 Kubernetes 기반 ELK.
접근 방식
AceMQ는 생산과 인덱싱 사이에 내구성 있는 버퍼를 두어 둘이 독립적으로 장애를 겪을 수 있게 했고, 단순 파싱은 원래 있어야 할 자리인 Elasticsearch 인제스트 파이프라인으로 옮겼으며, 공통 스키마로 표준화해 서비스별 파싱 로직이 대부분 사라지도록 했습니다. 설계는 단계적으로 구성해 각 팀이 한 번의 전환이 아니라 점진적으로 이전할 수 있게 했습니다.
해결책
- 전송기(shipper)와 인덱싱 계층 사이에 내구성 있는 메시지 큐를 도입해 클러스터 유지보수가 손실이 아닌 지연으로만 이어지도록 구성
- 단순 파싱과 보강 작업을 Elasticsearch 인제스트 파이프라인으로 옮기고, Logstash는 그 기능이 꼭 필요한 곳에만 유지
- 공유 필드에 공통 스키마를 채택해 서비스 간 상관 분석에 팀별 필드 지식이 더 이상 필요 없도록 개선
- 하나의 거대한 구성 대신 서비스별 파이프라인 정의를 담당 팀이 소유하고 독립적으로 배포할 수 있는 단위로 분리
- 파싱할 수 없는 이벤트가 버려지거나 흐름을 막지 않고 검토용으로 수집되도록 dead letter 처리 정의
- 전환 기간 동안 이중 경로로 운영하면서 서비스 단위로 이전할 수 있는 단계적 이전 계획 수립
성과
이제 Elasticsearch 유지보수는 로그 프로듀서에 영향을 주지 않습니다. 버퍼가 해당 시간대를 흡수했다가 이후에 적재분을 처리합니다. 파이프라인에 새 서비스를 추가하는 일도 공유 구성을 변경하는 작업에서 담당 팀이 독립적으로 수행하는 배포로 바뀌었습니다.