개요
한 리테일 기술 기업은 18개월에 걸쳐 응답 시간이 서서히 늘어나는 현상을 겪었지만, 원인으로 지목할 만한 단일 변경은 없었습니다. 제안된 해결책은 하드웨어 교체였습니다. AceMQ는 하드웨어가 정말 제약 요인인지 판단하기 위해 투입되었습니다.
과제
점진적인 성능 저하에는 원인이 하나뿐인 경우가 드뭅니다. 데이터 양이 늘면서 쿼리 실행 계획이 바뀌었고, 업데이트가 잦은 여러 테이블에 상당한 블로트가 쌓여 있었으며, 애플리케이션은 서버 메모리로 효율적으로 처리할 수 있는 수준을 훨씬 넘는 커넥션을 열고 있었습니다. 이런 영향을 구분하려면 눈으로 살펴보는 것이 아니라 측정이 필요했습니다.
환경
주문 관리 및 재고 서비스를 뒷받침하는, 온프레미스와 클라우드 호스트에 걸친 PostgreSQL.
접근 방식
AceMQ는 누적 구문 통계를 활용해 개별 실행 시간이 아니라 기여한 총 시간 기준으로 쿼리 순위를 매겼습니다. 그 결과 가장 느린 쿼리가 아니라 실제로 클러스터 자원을 소모하던 쿼리로 관심이 옮겨 갔습니다. 블로트는 직접 측정했고, 커넥션 동작은 애플리케이션 구성으로 추정하지 않고 커넥션 풀러에서 프로파일링했습니다.
해결책
- 기여한 총 실행 시간 기준으로 쿼리 형태의 순위를 매겨, 부하를 지배하던 고빈도 쿼리를 드러냄
- 실제 테이블 및 인덱스 블로트를 측정하고, 그 원인이 된 업데이트 패턴과 차단된 VACUUM 실행 식별
- 인덱스 커버리지, 중복 인덱스, 플래너가 한 번도 선택하지 않은 인덱스 검토
- work_mem 및 shared_buffers 크기에 비추어 커넥션 수와 풀러 동작 프로파일링
- 실행 계획이 불안정한 테이블의 플래너 통계 대상값과 autoanalyze 적용 범위 평가
- 구성 수정, 스키마 작업, 실제 용량 한계를 구분한 우선순위별 진단 결과 보고서 제공
성과
진단 결과, 제약 요인은 하드웨어가 아니라 쿼리와 블로트 동작이었음이 드러났고 하드웨어 교체는 보류되었습니다. 상위 순위의 발견 사항을 해결하자 용량을 늘리지 않고도 응답 시간이 이전 기준치 가까이 회복되었습니다.