概要
コンテナのビルドが遅いのは、ほぼ例外なくレイヤーの順序の問題です。依存関係をインストールする前にソースツリー全体をCOPYすると、コミットのたびに依存関係のレイヤーが無効化されます。ビルド用のハードウェアをいくら高速にしても、これは解決しません。
課題
CIパイプラインはサービスあたり20分を超えるまでに膨らみ、開発者は待ち時間を避けるために変更をまとめてコミットするようになっていました。Dockerfileは依存関係のインストール前にリポジトリ全体をコピーしており、.dockerignoreがないためビルドコンテキストにはgitの履歴やnode_modulesまで含まれていました。シングルステージのビルドでコンパイラーやビルドツールが実行用イメージに入り込み、何もバージョン固定されていないため、ビルドの再現性もありませんでした。
環境
CIでビルドされKubernetesにデプロイされる数十のコンテナ化サービス。イメージは複数のリージョンにまたがってプルされています。
アプローチ
AceMQは、キャッシュの安定性を軸にDockerfileを再構成しました。依存関係のマニフェストをソースより先にコピーしてインストールし、マルチステージビルドでビルドツールと実行環境を分離しました。さらに、レジストリを利用した共有ビルドキャッシュを有効にし、各CIエージェントがコールドスタートするのではなく、互いの成果を活用できるようにしました。
ソリューション
- 依存関係のインストールをソースのコピーより前に移し、通常のコミットではキャッシュが維持されるようにレイヤーを並べ替え
- .dockerignoreファイルを追加し、ビルドコンテキストのサイズを大幅に削減
- シングルステージビルドをマルチステージに変更し、コンパイラーとビルドツールを実行用イメージから排除
- レジストリを利用したBuildKitのキャッシュのエクスポートとインポートを有効にし、CIエージェント間でキャッシュを共有
- ベースイメージをダイジェストで固定し、依存関係のバージョンも固定して、再現性のあるビルドを実現
- サービスごとのイメージサイズの上限を定め、CIでチェック
結果
一般的なサービスのパイプライン所要時間はおよそ半分に短縮され、ビルドツールを除いたことで実行用イメージも大幅に小さくなりました。その結果、プルにかかる時間と、スキャナーが報告する脆弱性の対象範囲も縮小しました。