概覽
Docker 建置快取、懸置映像檔、已停止的容器與孤立磁碟區,都會在不知不覺中累積。在繁忙的建置代理上,檔案系統幾週內就會被塞滿,而最先出現的症狀通常是看似無關的故障:節點被標示為 NotReady,或是同一個磁碟區上的資料庫拒絕寫入。
挑戰
建置代理每隔幾週就會因空間不足錯誤而失敗,還有兩次共用節點被塞滿,驅逐了不相干的正式環境 pod。清理工作全靠手動,而且做法不一。BuildKit 快取掛載與多階段建置的映像層累積得最快,另有一批已移除容器所留下的孤立磁碟區,從未被回收。
環境
執行容器化工作負載的 CI 建置代理與 Kubernetes 節點,許多服務都頻繁建置映像檔。
做法
AceMQ 在做任何變更之前,先量測究竟是什麼在佔用磁碟,將建置快取、映像層、容器可寫層、日誌與孤立磁碟區分開來,因為每一類適合的保留政策都不一樣。接著我們建立自動清理機制,以保留政策維持快取的價值,而不是一次全部清空。
解決方案
- 依建置快取、映像層、容器層、日誌與孤立磁碟區拆解磁碟用量
- 設定依時間與大小保留的自動清理機制,讓近期的快取持續發揮作用
- 設定 BuildKit 快取保留上限,讓快取掛載不再無限制成長
- 在 daemon 層級啟用具大小限制的容器日誌輪替
- 將建置代理的儲存空間與工作負載的儲存空間分開,避免建置作業塞滿正式環境節點
- 新增磁碟用量告警,門檻設在檔案系統塞滿之前許久就會觸發
成效
反覆發生的空間不足故障已不再出現;由於清理機制以保留政策為基礎而非全部清空,建置快取命中率也維持在高檔。正式環境的 pod 不再與建置快取共用同一個檔案系統。