개요
Docker 빌드 캐시, 댕글링 이미지, 중지된 컨테이너, 고아 볼륨은 조용히 쌓입니다. 바쁜 빌드 에이전트에서는 몇 주 만에 파일 시스템이 가득 차며, 처음 눈에 띄는 증상은 대개 전혀 상관없어 보이는 장애입니다. 노드가 NotReady로 표시되거나, 같은 볼륨을 쓰는 데이터베이스가 쓰기를 거부하는 식입니다.
과제
빌드 에이전트가 몇 주마다 공간 부족 오류로 실패했고, 두 번은 공유 노드가 가득 차 관련 없는 프로덕션 파드가 축출되었습니다. 정리 작업은 수동이었고 일관성도 없었습니다. BuildKit 캐시 마운트와 멀티 스테이지 빌드 레이어가 가장 빠르게 쌓이고 있었고, 삭제된 컨테이너가 남긴 고아 볼륨들은 한 번도 회수되지 않았습니다.
환경
여러 서비스에서 이미지를 자주 빌드하는 CI 빌드 에이전트와 컨테이너화된 워크로드를 실행하는 Kubernetes 노드.
접근 방식
AceMQ는 무엇이든 바꾸기 전에 실제로 디스크를 차지하는 것이 무엇인지 측정해 빌드 캐시, 이미지 레이어, 컨테이너 쓰기 레이어, 로그, 고아 볼륨을 구분했습니다. 항목마다 적절한 보존 정책이 다르기 때문입니다. 그런 다음 캐시를 통째로 버리지 않고 그 가치를 유지하는 보존 기준으로 자동 정리를 구축했습니다.
해결책
- 디스크 사용량을 빌드 캐시, 이미지 레이어, 컨테이너 레이어, 로그, 고아 볼륨별로 분석
- 최근 캐시는 계속 쓸 수 있도록 기간 및 크기 기반 보존 기준으로 자동 정리 설정
- 캐시 마운트가 무한히 커지지 않도록 BuildKit 캐시 보존 한도 구성
- 데몬 수준에서 크기 제한을 둔 컨테이너 로그 로테이션 활성화
- 빌드가 프로덕션 노드를 가득 채우지 못하도록 빌드 에이전트 스토리지를 워크로드 스토리지와 분리
- 파일 시스템이 가득 차기 훨씬 전에 울리는 임계값으로 디스크 사용량 알림 추가
성과
반복되던 공간 부족 장애가 멈췄고, 정리 방식이 전체 삭제가 아닌 보존 기준 기반이어서 빌드 캐시 적중률도 높게 유지되었습니다. 프로덕션 파드는 더 이상 빌드 캐시와 파일 시스템을 공유하지 않습니다.