개요
Trino에서는 제약 없는 조인 하나가 워커 힙을 고갈시켜 수십 개의 다른 쿼리가 의존하는 노드를 다운시킬 수 있습니다. AceMQ는 당장의 불안정을 해소한 뒤, 분석가 한 명의 쿼리가 모두의 장애로 번지지 않도록 리소스 통제 장치를 마련합니다.
과제
메모리 압박을 받을 때 Trino의 장애는 갑작스럽게 찾아옵니다. 잘못된 조건의 크로스 조인, 빌드 측이 통계가 시사한 것보다 훨씬 큰 것으로 드러난 브로드캐스트 조인, 필터링되지 않은 팩트 테이블에 대한 ORDER BY는 워커 힙을 한도 이상으로 밀어 올려 JVM을 종료시킵니다. 리소스 그룹이 없으면 쿼리 하나와 클러스터 전체 사이에 아무런 완충 장치가 없으며, 재시도는 다음 시도를 더 악화시킵니다.
환경
Kubernetes 또는 VM 위의 Starburst Enterprise. 애드혹 분석과 예약된 분석 워크로드가 혼재.
접근 방식
AceMQ는 JVM 로그와 쿼리 로그부터 분석해 문제를 일으킨 특정 연산자와 쿼리를 찾아낸 뒤, 쿼리별 및 노드별 메모리 한도를 적용해 문제 쿼리가 워커를 죽이는 대신 깔끔하게 실패하도록 합니다. 정당하게 메모리를 초과하는 조인과 정렬에는 디스크 스필을 구성하고, 리소스 그룹으로 용량을 분할해 예약 작업이 애드혹 탐색의 영향을 받지 않도록 합니다.
해결책
- JVM 힙, GC 로그, 쿼리 이벤트를 분석해 크래시 원인을 특정 연산자와 쿼리 형태로 특정
- 실제 동시성에 맞춘 query.max-memory, query.max-memory-per-node, memory.heap-headroom 튜닝
- 정당하게 메모리를 초과하는 조인, 집계, 정렬을 위해 적절한 로컬 스토리지와 함께 디스크 스필 구성
- 예약 파이프라인, BI 도구, 분석가의 애드혹 쿼리를 엄격한 동시성 상한으로 분리하는 리소스 그룹 정의
- 통계가 옵티마이저를 오도하는 경우의 브로드캐스트 임계값 조정을 포함한 조인 분산 방식 및 재정렬 검토
- 코디네이터 사이징과 워커 노드 프로필 검토, 오토스케일링 클러스터를 위한 정상 종료(graceful shutdown) 구성
성과
워커 크래시가 멈추고, 할당량을 초과한 쿼리는 다른 노드까지 끌어내리는 대신 명확한 리소스 오류와 함께 실패합니다. 애드혹 부하가 더 이상 클러스터 전체를 차지할 수 없으므로 예약 파이프라인이 예측 가능하게 완료됩니다.