개요
한 보안 분석 서비스 기업은 다중 샤드 클러스터에서 ReplicatedMergeTree 테이블을 운영하고 있었습니다. 복제 큐는 멈춘 항목 뒤에서 정체되곤 했고, 분석가의 임시 쿼리는 메모리 한도에 걸려 실패했으며, 삭제 뮤테이션은 완료되지 않은 채 쌓여 갔습니다. AceMQ는 1차 분류 없이 전담 시니어 엔지니어가 대응하는 기술 지원을 맡았습니다.
과제
ClickHouse의 장애 유형은 행 기반 데이터베이스에 익숙한 팀에게 낯섭니다. 멈춘 복제 큐 항목 하나가 그 뒤의 모든 작업을 막고, 이를 풀려면 의도적인 개입이 필요합니다. 분석가 쿼리의 메모리 한도 실패에는 한도를 올리는 방식으로 대응해 왔는데, 이는 오히려 클러스터를 호스트 수준의 메모리 압박으로 몰아갔습니다. 뮤테이션은 그것이 유발하는 재작성 비용을 고려하지 않은 채 일상적인 삭제처럼 실행되고 있었습니다.
환경
보안 이벤트 검색과 분석을 제공하며 ClickHouse Keeper로 조정되는 Kubernetes 기반 ClickHouse.
접근 방식
AceMQ는 반복되는 장애 유형별로 진단 절차를 마련해 고객사 팀이 일반적인 사례를 직접 처리하고, 정말 새로운 장애에 대해서만 에스컬레이션하도록 했습니다. 일괄적인 메모리 한도 상향 대신 쿼리 수준 통제를 적용했고, 뮤테이션 운영 방식도 정책으로 관리하게 했습니다.
해결책
- 멈춘 복제 큐 항목과 Keeper 세션 문제에 대한 진단 및 복구 절차 수립
- 일괄적인 메모리 한도 상향을 쿼리별·사용자별 한도와 통제된 디스크 스필로 대체
- 비용이 가장 큰 분석가 쿼리를 전체 스캔 대신 프로젝션과 집계 테이블을 사용하도록 재작성
- 배치 처리, 일정 수립, 그리고 TTL 기반 만료가 더 나은 경우를 다루는 뮤테이션 정책 수립
- 복제 지연, 뮤테이션 적체, 쿼리별 메모리 사용량을 추적 지표로 계측
- 플랜에 따라 15분부터 시작하는 대응 목표를 적용해 ClickHouse 시니어 엔지니어에게 직접 연결되는 24/7 에스컬레이션 제공
성과
이제 복제 정체는 쿼리 결과에 영향을 주기 전에 감지되고 해소되며, 메모리 관련 쿼리 실패는 이전의 극히 일부 수준으로 줄었습니다. 고객사 팀은 반복되는 사례 대부분을 에스컬레이션 없이 런북으로 해결합니다.