概要
Dockerのビルドキャッシュ、dangling image、停止したコンテナ、孤立したボリュームは、気づかないうちに蓄積していきます。稼働の多いビルドエージェントでは数週間でファイルシステムが満杯になり、最初に目に見える症状は、たいてい無関係な何かの障害です。ノードがNotReadyになったり、同じボリューム上のデータベースが書き込みを拒否したりします。
課題
ビルドエージェントが数週間ごとに空き容量不足のエラーで停止し、2度にわたって共有ノードが満杯になって、無関係な本番のポッドが退避させられました。クリーンアップは手作業で、一貫していませんでした。最も速く蓄積していたのはBuildKitのキャッシュマウントとマルチステージビルドのレイヤーで、削除済みのコンテナから残った孤立ボリュームも一度も回収されていませんでした。
環境
多数のサービスにわたって頻繁にイメージをビルドする、CIのビルドエージェントと、コンテナ化されたワークロードを稼働させるKubernetesノード。
アプローチ
AceMQは、何かを変更する前に、ビルドキャッシュ、イメージレイヤー、コンテナの書き込み可能レイヤー、ログ、孤立したボリュームに分けて、実際に何がディスクを消費しているのかを計測しました。適切な保持ポリシーはそれぞれで異なるからです。そのうえで、キャッシュをまとめて破棄するのではなく、その価値を保つ保持設定を備えた自動削除の仕組みを確立しました。
ソリューション
- ディスク消費量を、ビルドキャッシュ、イメージレイヤー、コンテナレイヤー、ログ、孤立したボリュームに分解
- 最近のキャッシュを有効に保ちつつ、経過期間とサイズに基づく保持設定で自動削除を設定
- BuildKitのキャッシュの保持上限を設定し、キャッシュマウントが際限なく増え続けないように
- デーモンのレベルで、サイズ上限付きのコンテナログのローテーションを有効化
- ビルドエージェントのストレージをワークロードのストレージから分離し、ビルドが本番ノードを埋め尽くせないように
- ファイルシステムが満杯になるずっと前に発報するしきい値で、ディスク使用量のアラートを追加
結果
繰り返し発生していた空き容量不足の障害は止まり、削除は全消去ではなく保持設定に基づいて行われるため、ビルドキャッシュのヒット率も高いまま維持されています。本番のポッドが、ビルドキャッシュとファイルシステムを共有することもなくなりました。