Retour à tous les cas d'usage

ConseilLogiciels / plateformes numériques

La plupart des builds Docker lents sont un problème d'invalidation du cache, pas de puissance de calcul

Éditeur de logiciels d'entreprise

Restructurer les Dockerfiles et le cache de la CI pour que les builds réutilisent correctement les layers, ce qui réduit la durée des pipelines et la taille des images sur un large parc de services.

Présentation

Les builds de conteneurs lents sont presque toujours un problème d'ordre des layers. Un COPY de toute l'arborescence des sources avant l'installation des dépendances invalide le layer des dépendances à chaque commit, et aucune machine de build plus rapide n'y changera rien.

Défi

Le pipeline de CI dépassait vingt minutes par service, et les développeurs regroupaient leurs modifications pour éviter d'attendre. Les Dockerfiles copiaient l'intégralité du dépôt avant d'installer les dépendances, n'avaient pas de .dockerignore, si bien que le contexte de build incluait l'historique git et node_modules, utilisaient des builds en une seule étape qui embarquaient compilateurs et outils de build dans l'image d'exécution, et n'épinglaient aucune version, si bien que les builds n'étaient pas reproductibles.

Environnement

Des dizaines de services conteneurisés construits en CI et déployés sur Kubernetes, avec des images tirées depuis plusieurs régions.

Approche

AceMQ a restructuré les Dockerfiles autour de la stabilité du cache — manifestes de dépendances copiés et installés avant les sources, builds multi-stage séparant les outils de build de l'exécution — et a activé un cache de build partagé adossé au registre, pour que les agents de CI profitent du travail des autres au lieu de démarrer à froid.

Solution

  1. Réorganisation des layers pour que l'installation des dépendances précède la copie des sources et survive aux commits ordinaires
  2. Ajout de fichiers .dockerignore pour réduire considérablement la taille du contexte de build
  3. Conversion des builds en une seule étape en builds multi-stage, pour garder compilateurs et outils de build hors des images d'exécution
  4. Activation de l'export et de l'import du cache BuildKit via le registre, pour que les agents de CI partagent le cache
  5. Épinglage des images de base par digest et des versions des dépendances pour des builds reproductibles
  6. Mise en place d'un budget de taille d'image par service, vérifié en CI

Résultat obtenu

La durée du pipeline d'un service type a été à peu près divisée par deux, et les images d'exécution ont nettement diminué après le retrait des outils de build — ce qui a aussi réduit le temps de pull et la surface de vulnérabilités signalée par les scanners.

Technologies

DockerKubernetesKongPostgreSQL

Besoin de conseils en architecture Docker ?

Les ingénieurs Docker seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.