概覽
容器建置緩慢,幾乎都是 layer 順序的問題。在安裝相依套件之前就 COPY 整個原始碼目錄,會讓相依套件 layer 在每次 commit 時失效,再快的建置硬體都解決不了。
挑戰
每個服務的 CI pipeline 已超過二十分鐘,開發人員只好把變更累積起來一次提交,以免等待。Dockerfile 在安裝相依套件前就複製整個 repository;沒有 .dockerignore,導致建置內容包含 git 歷史與 node_modules;採用單階段建置,把編譯器與建置工具一起打包進執行階段映像檔;而且沒有固定任何版本,建置結果無法重現。
環境
數十個在 CI 中建置、部署到 Kubernetes 的容器化服務,映像檔需跨區域拉取。
做法
AceMQ 以快取穩定性為核心重新設計 Dockerfile:先複製並安裝相依套件清單,再複製原始碼;以多階段建置將建置工具與執行環境分開;並啟用以 registry 為後端的共用建置快取,讓各個 CI agent 能共享彼此的成果,而不必每次從零開始。
解決方案
- 重新排列 layer 順序,讓相依套件安裝先於原始碼複製,一般 commit 不會使其失效
- 加入 .dockerignore 檔案,大幅縮小建置內容
- 將單階段建置改為多階段建置,讓編譯器與建置工具不進入執行階段映像檔
- 啟用以 registry 為後端的 BuildKit 快取匯出與匯入,讓 CI agent 共享快取
- 以 digest 固定基礎映像檔,並固定相依套件版本,確保建置可重現
- 為每個服務建立映像檔大小預算,並在 CI 中檢查
成效
一般服務的 pipeline 時間縮短約一半;移除建置工具後,執行階段映像檔也大幅縮小,連帶減少拉取時間以及掃描工具回報的弱點範圍。