概要
アプリケーションレベルのメモリ不足エラーを伴わないOOMKilledは、たいていの場合、コンテナ内のランタイムがコンテナのメモリ制限を認識できていないことを意味します。古いベースイメージ上のJVMや、より大きなホストからコピーしたmax-old-space-sizeを手動で設定したNodeプロセスは、ホストの総メモリを基準に自らをサイジングするため、本人がメモリ逼迫を感じるよりずっと前にカーネルによって強制終了されます。
課題
複数のサービスが1日に何度もOOMKilledになっていましたが、ヒープダンプもアプリケーションのエラーもありませんでした。ランタイムが何かを報告する前に、カーネルがプロセスを強制終了していたからです。一部のサービスは、コンテナを確実に認識できるようになる以前のベースイメージ上でJVMを動かしており、別のサービスはコンテナ自体の制限よりも高いヒープ上限を設定したNodeを動かしていました。メモリ制限の引き上げも試されましたが、しきい値が移動しただけでした。
環境
Kubernetes上でコンテナ化されたJVMとNodeのサービス。複数のチームが管理するさまざまなベースイメージからビルド。
アプローチ
AceMQは、影響を受けた各コンテナについて、ランタイムのメモリ設定とcgroupの制限を突き合わせ、制限を認識できていないプロセスと、単に設定を誤っているプロセスを特定しました。どちらのケースも、強制終了が止まるまで制限を引き上げるのではなく、イメージとマニフェストのレベルで修正しました。
ソリューション
- 各ランタイムの実効メモリ設定を、コンテナの実際のcgroup制限と比較
- ベースイメージを、cgroupの制限を正しく反映するランタイムバージョンに更新し、ヒープを割合で明示的に設定
- コンテナのメモリ制限を超えていた、ハードコードされたヒープ上限を削除
- ヒープだけでなく、オフヒープ、メタスペース、スレッドスタックのメモリも制限の中で考慮
- アプリケーションのエラーアラートとは別に、コンテナレベルのメモリメトリクスとOOMKillのアラートを追加
- 各サービスを負荷試験し、試行錯誤ではなく実測したピークに基づいて制限を設定
結果
繰り返し発生していたOOMKillは解消され、メモリ制限はインシデントのたびに引き上げるのではなく、実測した使用量に余裕を加えて決めるようになりました。