返回所有使用案例

技術支援跨產業

磁碟滿了、節點變成 NotReady,而且從來沒有人清理過

影音串流公司

阻止反覆發生的建置代理與節點中斷:未清理的 Docker 建置快取、懸置映像檔與孤立磁碟區不斷塞滿檔案系統。

概覽

Docker 建置快取、懸置映像檔、已停止的容器與孤立磁碟區,都會在不知不覺中累積。在繁忙的建置代理上,檔案系統幾週內就會被塞滿,而最先出現的症狀通常是看似無關的故障:節點被標示為 NotReady,或是同一個磁碟區上的資料庫拒絕寫入。

挑戰

建置代理每隔幾週就會因空間不足錯誤而失敗,還有兩次共用節點被塞滿,驅逐了不相干的正式環境 pod。清理工作全靠手動,而且做法不一。BuildKit 快取掛載與多階段建置的映像層累積得最快,另有一批已移除容器所留下的孤立磁碟區,從未被回收。

環境

執行容器化工作負載的 CI 建置代理與 Kubernetes 節點,許多服務都頻繁建置映像檔。

做法

AceMQ 在做任何變更之前,先量測究竟是什麼在佔用磁碟,將建置快取、映像層、容器可寫層、日誌與孤立磁碟區分開來,因為每一類適合的保留政策都不一樣。接著我們建立自動清理機制,以保留政策維持快取的價值,而不是一次全部清空。

解決方案

  1. 依建置快取、映像層、容器層、日誌與孤立磁碟區拆解磁碟用量
  2. 設定依時間與大小保留的自動清理機制,讓近期的快取持續發揮作用
  3. 設定 BuildKit 快取保留上限,讓快取掛載不再無限制成長
  4. 在 daemon 層級啟用具大小限制的容器日誌輪替
  5. 將建置代理的儲存空間與工作負載的儲存空間分開,避免建置作業塞滿正式環境節點
  6. 新增磁碟用量告警,門檻設在檔案系統塞滿之前許久就會觸發

成效

反覆發生的空間不足故障已不再出現;由於清理機制以保留政策為基礎而非全部清空,建置快取命中率也維持在高檔。正式環境的 pod 不再與建置快取共用同一個檔案系統。

技術

DockerKubernetesAirbytePostgreSQL

需要專業的 Docker 技術支援嗎?

AceMQ 的資深 Docker 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。