개요
한 보험 플랫폼에서 랩어라운드 보호 기능이 작동하기까지 수천만 트랜잭션밖에 남지 않았다는 경고가 발생했습니다. 보호 기능이 작동하면 클러스터는 읽기 전용 모드로 강제 전환될 상황이었습니다. AceMQ는 긴급 대응 SLA에 따라 투입되어 고객사 플랫폼 팀과 함께 문제를 해결했습니다.
과제
가장 큰 테이블에서 autovacuum이 반복적으로 취소되고 처음부터 다시 시작되면서 freeze 기준선이 전혀 앞으로 나아가지 못했습니다. 장시간 실행되는 분석 세션과 idle-in-transaction 상태의 커넥션 풀이 xmin 기준선을 붙잡고 있어, vacuum이 성공해도 튜플을 회수할 수 없었습니다. 훨씬 작은 배포 환경에서 물려받은 비용 기반 지연 설정은 autovacuum을 가용 I/O의 극히 일부로 제한하고 있었습니다.
환경
온프레미스 하드웨어에서 스트리밍 레플리카와 함께 운영되며, 보험 계약 관리 및 보험금 청구 워크로드를 지원하는 PostgreSQL 프라이머리.
접근 방식
최우선 과제는 클러스터가 자체 보호 모드로 들어가기 전에 나이가 가장 많은 테이블의 freeze 기준선을 앞당기는 것이었습니다. AceMQ는 워커 설정을 튜닝한 상태로 해당 테이블에 표적 수동 vacuum freeze 작업을 실행하는 한편, autovacuum이 완료되지 못하게 막던 요인을 함께 제거해 장애 이후에도 해결 상태가 유지되도록 했습니다.
해결책
- 동결된 트랜잭션 ID의 나이를 기준으로 테이블 순위를 매기고 가장 심각한 테이블부터 표적 vacuum freeze 실행
- xmin 기준선을 붙잡고 있던 idle-in-transaction 세션과 장시간 실행 스냅샷 종료
- 하드웨어의 실제 I/O 용량에 맞춰 autovacuum 비용 지연, 비용 한도, 워커 수 재튜닝
- 클러스터 전역의 비율 기반 스케일링에 의존하지 않고 대형 테이블에 테이블별 autovacuum 임계값 설정
- 애플리케이션 계층에서의 재발을 막기 위해 statement timeout 및 idle-in-transaction 세션 타임아웃 추가
- 테이블 나이, dead tuple 수, autovacuum 취소 이벤트에 대한 모니터링 구축
성과
freeze 기준선이 랩어라운드 임계값에서 충분히 멀어졌고, 클러스터는 한 번도 읽기 전용 모드에 들어가지 않았습니다. 이제 대형 테이블에서도 평상시 운영 중에 autovacuum이 완료되며, 몇 달 동안 쌓였던 블로트도 저절로 회수되기 시작했습니다.