개요
Kong의 502 오류는 게이트웨이가 업스트림 대상으로부터 쓸 만한 응답을 받지 못했다는 뜻입니다. 까다로운 점은 업스트림 자체는 정상인 경우가 많다는 것입니다. 게이트웨이가 더는 존재하지 않는 주소와 통신하고 있거나, 헬스 체크가 엉뚱한 것을 확인하는 바람에 정상 대상을 제외해 버린 경우입니다.
과제
비율은 작지만 꾸준히 일부 요청이 502를 반환했고, 업스트림 애플리케이션 로그에는 이에 대응하는 항목이 없었습니다. 이는 원인이 애플리케이션이 아니라 게이트웨이가 대상을 바라보는 방식에 있음을 시사했습니다. 액티브 헬스 체크는 인증되지 않은 프로브에 401을 반환하는 경로로 구성되어 있었기 때문에, Kong의 서킷 브레이커가 정상 대상을 제외하고 있었습니다. 이와 별개로 Kong의 DNS 캐시는 해석된 업스트림 IP를 TTL이 지난 뒤에도 보관하고 있어, 이미 다른 곳으로 재스케줄링된 파드에 계속 연결을 시도했습니다.
환경
컨테이너화된 마이크로서비스 앞단의 Kubernetes 기반 Kong 게이트웨이. 업스트림은 서비스 DNS 이름으로 정의되어 있고 파드가 주기적으로 재스케줄링되는 환경입니다.
접근 방식
AceMQ는 게이트웨이 액세스 로그와 Kong 자체 오류 로그를 업스트림 파드 수명 주기 이벤트와 연관 분석해, 502 급증 시점과 재스케줄링 시점을 맞춰 보았습니다. 이를 통해 DNS 캐싱 동작이 하나의 원인이고, 헬스 체크 엔드포인트의 인증 요구가 또 다른 원인임을 확인했습니다. 두 가지를 모두 수정한 뒤 의도적인 롤링 재시작으로 검증했습니다.
해결책
- Kong 오류 로그와 업스트림 파드 수명 주기 이벤트를 연관 분석해 502 급증과 재스케줄링 시점 정렬
- 실제 상태 신호를 반환하는 인증 불필요 liveness 엔드포인트로 액티브 헬스 체크 대상 변경
- 게이트웨이가 오래된 업스트림 주소로 연결하지 않도록 DNS 해석 및 TTL 처리 튜닝
- 일시적인 오류로 정상 대상이 제외되지 않도록 패시브 헬스 체크 임계값 조정
- 모든 업스트림 서비스를 강제로 롤링 재시작한 상태에서 수정 사항 검증
성과
간헐적인 502 오류가 사라졌고, 업스트림 서비스를 롤링 배포해도 게이트웨이에서 오류가 급증하지 않게 되었습니다.