개요
애플리케이션 수준의 메모리 부족 오류 없이 OOMKilled가 발생한다면, 대개 컨테이너 안의 런타임이 컨테이너의 메모리 한도를 전혀 인식하지 못하고 있다는 뜻입니다. 오래된 베이스 이미지의 JVM이나, 더 큰 호스트에서 복사해 온 max-old-space-size를 수동으로 설정한 Node 프로세스는 호스트 전체 메모리를 기준으로 크기를 잡기 때문에, 스스로 메모리 압박을 느끼기 훨씬 전에 커널에 의해 종료됩니다.
과제
여러 서비스가 하루에도 몇 번씩 OOMKilled되었지만 힙 덤프도, 애플리케이션 오류도 남지 않았습니다. 런타임이 무엇이든 보고하기 전에 커널이 프로세스를 종료했기 때문입니다. 일부 서비스는 컨테이너 인식이 제대로 지원되기 이전의 베이스 이미지에서 JVM을 실행했고, 다른 서비스는 컨테이너 자체 한도보다 높은 힙 상한을 설정한 채 Node를 실행하고 있었습니다. 메모리 한도를 올려 보기도 했지만 임계점만 옮겨 갔을 뿐이었습니다.
환경
여러 팀이 관리하는 다양한 베이스 이미지로 빌드되어 Kubernetes에서 실행되는 컨테이너화된 JVM 및 Node 서비스.
접근 방식
AceMQ는 영향을 받은 각 컨테이너의 런타임 메모리 구성을 cgroup 한도와 대조해, 어떤 프로세스가 한도를 인식하지 못하고 있고 어떤 프로세스가 단순히 잘못 구성되었는지 구분했습니다. 두 유형 모두 종료가 멈출 때까지 한도를 올리는 방식이 아니라 이미지와 매니페스트 수준에서 수정했습니다.
해결책
- 각 런타임의 실제 메모리 구성을 컨테이너의 실제 cgroup 한도와 비교
- 베이스 이미지를 cgroup 한도를 준수하는 런타임 버전으로 업데이트하고, 비율 기반 힙 설정을 명시적으로 적용
- 컨테이너 메모리 한도를 초과하는 하드코딩된 힙 상한 제거
- 힙뿐 아니라 오프힙, 메타스페이스, 스레드 스택 메모리까지 한도 산정에 반영
- 애플리케이션 오류 알림과 별도로 컨테이너 수준 메모리 지표와 OOMKill 알림 추가
- 각 서비스를 부하 테스트해 시행착오가 아닌 실측 피크를 기준으로 한도 설정
성과
반복되던 OOMKill이 사라졌고, 이제 메모리 한도는 장애가 날 때마다 조금씩 올리는 대신 실측 사용량에 여유분을 더해 산정합니다.