返回所有使用案例

問題修復軟體/數位平台

執行環境依主機規格配置記憶體,結果被 cgroup 終止

線上市集營運商

解決容器反覆遭到 OOMKilled 的問題:容器內的 JVM 與 Node 執行環境是依主機記憶體、而非 cgroup 限制來決定堆積大小。

概覽

出現 OOMKilled、卻沒有任何應用程式層級的記憶體不足錯誤,通常代表容器內的執行環境從未得知容器的記憶體限制。使用舊版基礎映像檔的 JVM,或是沿用較大主機上手動設定之 max-old-space-size 的 Node 程序,會依整台主機的記憶體決定自身規模,在它察覺到任何壓力之前,就早已被核心終止。

挑戰

數個服務每天都會被 OOMKilled 多次,既沒有堆積傾印,也沒有應用程式錯誤:核心在執行環境來得及回報任何訊息之前,就已終止了程序。有些服務在早於可靠容器感知功能的基礎映像檔上執行 JVM,另一些服務執行的 Node 則將堆積上限設得比容器本身的限制還高。團隊曾嘗試調高記憶體限制,結果只是把臨界點往後移而已。

環境

在 Kubernetes 上執行的容器化 JVM 與 Node 服務,所用的基礎映像檔由不同團隊各自維護。

做法

AceMQ 將每個受影響容器的執行環境記憶體設定與其 cgroup 限制逐一比對,找出哪些程序並不知道限制存在、哪些只是設定錯誤。兩類問題都在映像檔與部署清單層級修正,而不是一路調高限制直到不再被終止為止。

解決方案

  1. 比對每個執行環境的實際記憶體設定與容器真正的 cgroup 限制
  2. 將基礎映像檔更新為會遵守 cgroup 限制的執行環境版本,並明確設定以百分比計算的堆積大小
  3. 移除超過容器記憶體限制的寫死堆積上限
  4. 在計算限制時納入 off-heap、metaspace 與執行緒堆疊記憶體,而不只考慮堆積
  5. 新增容器層級的記憶體指標,以及與應用程式錯誤告警分開的 OOMKill 告警
  6. 對每個服務進行負載測試,依實測峰值訂定限制,而不是反覆試錯

成效

反覆發生的 OOMKill 問題已完全消除,記憶體限制現在依實測用量加上餘裕來訂定,而不再是每次事故後再往上調高。

技術

DockerKubernetesPostgreSQLRedis

正面臨 Docker 正式環境問題嗎?

AceMQ 的資深 Docker 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。