Volver a todos los casos de uso

ConsultoríaSoftware / Plataformas digitales

La mayoría de las compilaciones lentas de Docker son un problema de invalidación de caché, no de cómputo

Fabricante de software empresarial

Reestructuración de los Dockerfiles y de la caché de CI para que las compilaciones reutilicen bien las capas, reduciendo el tiempo de los pipelines y el tamaño de las imágenes en un gran conjunto de servicios.

Descripción general

Las compilaciones lentas de contenedores son casi siempre un problema de orden de las capas. Un COPY de todo el árbol de código fuente antes de instalar las dependencias invalida la capa de dependencias en cada commit, y eso no lo arregla ningún hardware de compilación más rápido.

Reto

El pipeline de CI había superado los veinte minutos por servicio y los desarrolladores agrupaban los cambios para no tener que esperar. Los Dockerfiles copiaban todo el repositorio antes de instalar las dependencias; no había .dockerignore, así que el contexto de compilación incluía el historial de git y node_modules; las compilaciones de una sola etapa metían compiladores y herramientas de compilación en la imagen de ejecución; y no se fijaba ninguna versión, por lo que las compilaciones no eran reproducibles.

Entorno

Decenas de servicios en contenedores compilados en CI y desplegados en Kubernetes, con imágenes descargadas desde varias regiones.

Enfoque

AceMQ reestructuró los Dockerfiles en torno a la estabilidad de la caché (manifiestos de dependencias copiados e instalados antes del código fuente, compilaciones multietapa que separan las herramientas de compilación del runtime) y habilitó una caché de compilación compartida respaldada por el registry, para que los agentes de CI aprovechen el trabajo de los demás en lugar de empezar en frío.

Solución

  1. Reordenación de las capas para que la instalación de dependencias preceda a la copia del código fuente y sobreviva a los commits normales
  2. Incorporación de ficheros .dockerignore para reducir drásticamente el tamaño del contexto de compilación
  3. Conversión de las compilaciones de una sola etapa a multietapa, dejando los compiladores y las herramientas de compilación fuera de las imágenes de ejecución
  4. Habilitación de la exportación e importación de la caché de BuildKit respaldada por el registry para que los agentes de CI compartan caché
  5. Imágenes base fijadas por digest y versiones de dependencias fijadas para obtener compilaciones reproducibles
  6. Establecimiento de un presupuesto de tamaño de imagen por servicio que se comprueba en CI

Resultado final

El tiempo de pipeline del servicio típico se redujo aproximadamente a la mitad, y las imágenes de ejecución se redujeron de forma considerable al eliminar las herramientas de compilación, lo que también acortó el tiempo de descarga y la superficie de vulnerabilidades que señalan los escáneres.

Tecnologías

DockerKubernetesKongPostgreSQL

¿Necesita asesoramiento de arquitectura para Docker?

Los ingenieros sénior de Docker de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.