Überblick
Langsame Container-Builds sind fast immer ein Problem der Layer-Reihenfolge. Ein COPY des gesamten Quellbaums vor der Installation der Abhängigkeiten invalidiert den Abhängigkeits-Layer bei jedem Commit, und daran ändert auch schnellere Build-Hardware nichts.
Herausforderung
Die CI-Pipeline war auf über zwanzig Minuten pro Service angewachsen, und die Entwickler bündelten Änderungen, um nicht warten zu müssen. Die Dockerfiles kopierten das gesamte Repository vor der Installation der Abhängigkeiten, es gab keine .dockerignore, sodass der Build-Kontext die Git-Historie und node_modules enthielt, Single-Stage-Builds lieferten Compiler und Build-Werkzeuge im Runtime-Image mit aus, und nichts war gepinnt, sodass die Builds nicht reproduzierbar waren.
Umgebung
Dutzende containerisierte Services, die in der CI gebaut und auf Kubernetes deployt werden, mit Images, die über mehrere Regionen gezogen werden.
Vorgehen
AceMQ baute die Dockerfiles auf Cache-Stabilität um – Abhängigkeitsmanifeste werden vor dem Quellcode kopiert und installiert, Multi-Stage-Builds trennen Build-Werkzeuge von der Runtime – und aktivierte einen gemeinsamen, Registry-gestützten Build-Cache, damit CI-Agents von der Arbeit der anderen profitieren, statt kalt zu starten.
Lösung
- Layer neu angeordnet, sodass die Installation der Abhängigkeiten vor dem Kopieren des Quellcodes erfolgt und gewöhnliche Commits übersteht
- .dockerignore-Dateien ergänzt, um den Build-Kontext drastisch zu verkleinern
- Single-Stage-Builds auf Multi-Stage umgestellt, damit Compiler und Build-Werkzeuge nicht in Runtime-Images landen
- Registry-gestützten BuildKit-Cache-Export und -Import aktiviert, damit CI-Agents den Cache teilen
- Base Images per Digest und Versionen der Abhängigkeiten gepinnt, für reproduzierbare Builds
- Ein Budget für die Image-Größe pro Service eingeführt, das in der CI geprüft wird
Resultat
Die Pipeline-Laufzeit eines typischen Service halbierte sich ungefähr, und die Runtime-Images schrumpften deutlich, nachdem die Build-Werkzeuge entfernt waren – was auch die Pull-Zeit und die von Scannern gemeldete Angriffsfläche für Schwachstellen verringerte.