概覽
出現 OOMKilled、卻沒有任何應用程式層級的記憶體不足錯誤,通常代表容器內的執行環境從未得知容器的記憶體限制。使用舊版基礎映像檔的 JVM,或是沿用較大主機上手動設定之 max-old-space-size 的 Node 程序,會依整台主機的記憶體決定自身規模,在它察覺到任何壓力之前,就早已被核心終止。
挑戰
數個服務每天都會被 OOMKilled 多次,既沒有堆積傾印,也沒有應用程式錯誤:核心在執行環境來得及回報任何訊息之前,就已終止了程序。有些服務在早於可靠容器感知功能的基礎映像檔上執行 JVM,另一些服務執行的 Node 則將堆積上限設得比容器本身的限制還高。團隊曾嘗試調高記憶體限制,結果只是把臨界點往後移而已。
環境
在 Kubernetes 上執行的容器化 JVM 與 Node 服務,所用的基礎映像檔由不同團隊各自維護。
做法
AceMQ 將每個受影響容器的執行環境記憶體設定與其 cgroup 限制逐一比對,找出哪些程序並不知道限制存在、哪些只是設定錯誤。兩類問題都在映像檔與部署清單層級修正,而不是一路調高限制直到不再被終止為止。
解決方案
- 比對每個執行環境的實際記憶體設定與容器真正的 cgroup 限制
- 將基礎映像檔更新為會遵守 cgroup 限制的執行環境版本,並明確設定以百分比計算的堆積大小
- 移除超過容器記憶體限制的寫死堆積上限
- 在計算限制時納入 off-heap、metaspace 與執行緒堆疊記憶體,而不只考慮堆積
- 新增容器層級的記憶體指標,以及與應用程式錯誤告警分開的 OOMKill 告警
- 對每個服務進行負載測試,依實測峰值訂定限制,而不是反覆試錯
成效
反覆發生的 OOMKill 問題已完全消除,記憶體限制現在依實測用量加上餘裕來訂定,而不再是每次事故後再往上調高。