Panoramica
Le build lente dei container sono quasi sempre un problema di ordinamento dei layer. Un COPY dell'intero albero dei sorgenti prima dell'installazione delle dipendenze invalida il layer delle dipendenze a ogni commit, e nessun hardware di build più veloce può rimediare.
Sfida
La pipeline CI aveva superato i venti minuti per servizio e gli sviluppatori raggruppavano le modifiche per evitare di aspettare. I Dockerfile copiavano l'intero repository prima di installare le dipendenze, non avevano un .dockerignore e quindi il build context includeva la cronologia git e node_modules, eseguivano build a stadio singolo che portavano compilatori e strumenti di build nell'immagine di runtime e non fissavano alcuna versione, per cui le build non erano riproducibili.
Ambiente
Decine di servizi containerizzati compilati in CI e distribuiti su Kubernetes, con immagini scaricate tra più regioni.
Approccio
AceMQ ha ristrutturato i Dockerfile puntando sulla stabilità della cache (manifest delle dipendenze copiati e installati prima dei sorgenti, build multi-stage che separano gli strumenti di build dal runtime) e ha attivato una cache di build condivisa basata sul registry, così che gli agent CI beneficino del lavoro degli altri invece di partire a freddo.
Soluzione
- Riordino dei layer affinché l'installazione delle dipendenze preceda la copia dei sorgenti e sopravviva ai commit ordinari
- Aggiunta di file .dockerignore per ridurre drasticamente la dimensione del build context
- Conversione delle build a stadio singolo in build multi-stage, tenendo compilatori e strumenti di build fuori dalle immagini di runtime
- Attivazione dell'export e import della cache BuildKit tramite registry, così che gli agent CI condividano la cache
- Immagini di base fissate per digest e versioni delle dipendenze bloccate per ottenere build riproducibili
- Definizione di un budget di dimensione dell'immagine per ciascun servizio, verificato in CI
Esito
Il tempo di pipeline per il servizio tipico si è all'incirca dimezzato e le immagini di runtime si sono ridotte in modo sostanziale dopo la rimozione degli strumenti di build, il che ha ridotto anche i tempi di pull e la superficie di vulnerabilità segnalata dagli scanner.