개요
WSO2 제품은 공유 레지스트리와 구성 데이터베이스에 크게 의존합니다. 일괄 재시작, 대량 API 배포, 대규모 사용자 저장소 동기화처럼 쓰기가 동시에 몰리면 해당 테이블에서 잠금 경합이 데드락으로 이어질 수 있으며, 눈에 보이는 증상은 시작을 끝내지 못하는 노드입니다.
과제
계획된 유지보수 재시작 이후 게이트웨이 노드가 간헐적으로 시작을 완료하지 못했고, 대량 API 배포는 중간에 멈추곤 했습니다. 데이터베이스 로그에는 레지스트리 테이블의 데드락이 기록되어 있었습니다. 연결 풀이 데이터베이스가 허용하도록 설정된 수준보다 훨씬 크게 잡혀 있어, 시작 중의 재시도 폭주가 경합을 완화하기는커녕 악화시켰습니다.
환경
PostgreSQL의 레지스트리 및 사용자 저장소 데이터베이스를 공유하며 여러 노드에 배포된 온프레미스 WSO2 API Manager와 Identity Server.
접근 방식
AceMQ는 노드 시작 순서를 데이터베이스 데드락 로그와 대조해 경합이 발생하는 구체적인 테이블과 관련 작업을 식별했습니다. 이어서 노드 시작을 단계적으로 진행하도록 바꾸고, 실제 데이터베이스 한도에 맞춰 풀 크기를 바로잡았으며, 대량 배포를 병렬 버스트가 아닌 통제된 순서로 진행하도록 전환했습니다. AceMQ는 1차 분류 계층 없이 24/7로 대응하는 전담 시니어 엔지니어를 제공합니다.
해결책
- 시작 순서를 데이터베이스 데드락 로그와 대조해 경합이 발생하는 레지스트리 테이블을 식별
- 데이터베이스의 실제 최대 연결 한도에 맞춰 연결 풀 크기를 적정화
- 모든 노드가 동시에 레지스트리 상태를 초기화하지 않도록 노드 시작을 단계화
- 대량 API 배포 작업을 병렬로 실행하지 않고 순차적으로 처리
- 경합 시 멈추지 않고 빠르게 실패하도록 데이터베이스 측 잠금 및 구문 타임아웃을 튜닝
- 경합이 재발하지 않도록 하는 유지보수 재시작 절차를 문서화
성과
이제 유지보수 재시작은 안정적으로 완료되고, 대량 API 배포도 멈추지 않고 끝납니다. 레지스트리 테이블의 데드락은 더 이상 데이터베이스 로그에 나타나지 않습니다.