전체 사례로 돌아가기

문제 해결소프트웨어 / 디지털 플랫폼

런타임은 호스트에 맞춰 크기를 잡았고, cgroup은 그 프로세스를 종료했습니다

온라인 마켓플레이스 운영 기업

컨테이너 안의 JVM과 Node 런타임이 cgroup 한도가 아닌 호스트 메모리를 기준으로 힙 크기를 정하는 바람에 컨테이너가 반복적으로 OOMKilled되던 문제를 해결했습니다.

개요

애플리케이션 수준의 메모리 부족 오류 없이 OOMKilled가 발생한다면, 대개 컨테이너 안의 런타임이 컨테이너의 메모리 한도를 전혀 인식하지 못하고 있다는 뜻입니다. 오래된 베이스 이미지의 JVM이나, 더 큰 호스트에서 복사해 온 max-old-space-size를 수동으로 설정한 Node 프로세스는 호스트 전체 메모리를 기준으로 크기를 잡기 때문에, 스스로 메모리 압박을 느끼기 훨씬 전에 커널에 의해 종료됩니다.

과제

여러 서비스가 하루에도 몇 번씩 OOMKilled되었지만 힙 덤프도, 애플리케이션 오류도 남지 않았습니다. 런타임이 무엇이든 보고하기 전에 커널이 프로세스를 종료했기 때문입니다. 일부 서비스는 컨테이너 인식이 제대로 지원되기 이전의 베이스 이미지에서 JVM을 실행했고, 다른 서비스는 컨테이너 자체 한도보다 높은 힙 상한을 설정한 채 Node를 실행하고 있었습니다. 메모리 한도를 올려 보기도 했지만 임계점만 옮겨 갔을 뿐이었습니다.

환경

여러 팀이 관리하는 다양한 베이스 이미지로 빌드되어 Kubernetes에서 실행되는 컨테이너화된 JVM 및 Node 서비스.

접근 방식

AceMQ는 영향을 받은 각 컨테이너의 런타임 메모리 구성을 cgroup 한도와 대조해, 어떤 프로세스가 한도를 인식하지 못하고 있고 어떤 프로세스가 단순히 잘못 구성되었는지 구분했습니다. 두 유형 모두 종료가 멈출 때까지 한도를 올리는 방식이 아니라 이미지와 매니페스트 수준에서 수정했습니다.

해결책

  1. 각 런타임의 실제 메모리 구성을 컨테이너의 실제 cgroup 한도와 비교
  2. 베이스 이미지를 cgroup 한도를 준수하는 런타임 버전으로 업데이트하고, 비율 기반 힙 설정을 명시적으로 적용
  3. 컨테이너 메모리 한도를 초과하는 하드코딩된 힙 상한 제거
  4. 힙뿐 아니라 오프힙, 메타스페이스, 스레드 스택 메모리까지 한도 산정에 반영
  5. 애플리케이션 오류 알림과 별도로 컨테이너 수준 메모리 지표와 OOMKill 알림 추가
  6. 각 서비스를 부하 테스트해 시행착오가 아닌 실측 피크를 기준으로 한도 설정

성과

반복되던 OOMKill이 사라졌고, 이제 메모리 한도는 장애가 날 때마다 조금씩 올리는 대신 실측 사용량에 여유분을 더해 산정합니다.

기술

DockerKubernetesPostgreSQLRedis

Docker 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 Docker 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.