Przegląd
Wolne budowanie kontenerów niemal zawsze wynika z kolejności warstw. COPY całego drzewa źródeł przed instalacją zależności unieważnia warstwę zależności przy każdym commicie, a żaden szybszy sprzęt do budowania tego nie naprawi.
Wyzwanie
Pipeline CI rozrósł się do ponad dwudziestu minut na usługę, a programiści grupowali zmiany, żeby uniknąć czekania. Pliki Dockerfile kopiowały całe repozytorium przed instalacją zależności, nie było .dockerignore, więc kontekst budowania obejmował historię git i node_modules, buildy jednoetapowe przenosiły kompilatory i narzędzia budowania do obrazu runtime, a nic nie było przypięte do konkretnych wersji, więc buildy nie były powtarzalne.
Środowisko
Kilkadziesiąt skonteneryzowanych usług budowanych w CI i wdrażanych na Kubernetes, z obrazami pobieranymi między regionami.
Podejście
AceMQ przebudowało pliki Dockerfile pod kątem stabilności cache'u — manifesty zależności kopiowane i instalowane przed kodem źródłowym, buildy wieloetapowe oddzielające narzędzia budowania od środowiska runtime — oraz włączyło współdzielony cache budowania oparty na rejestrze, dzięki któremu agenci CI korzystają z pracy pozostałych, zamiast zaczynać od zera.
Rozwiązanie
- Zmiana kolejności warstw tak, aby instalacja zależności poprzedzała kopiowanie źródeł i przetrwała zwykłe commity
- Dodanie plików .dockerignore, które radykalnie zmniejszyły kontekst budowania
- Zamiana buildów jednoetapowych na wieloetapowe, dzięki której kompilatory i narzędzia budowania nie trafiają do obrazów runtime
- Włączenie eksportu i importu cache'u BuildKit opartego na rejestrze, aby agenci CI współdzielili cache
- Przypięcie obrazów bazowych po digeście oraz wersji zależności w celu uzyskania powtarzalnych buildów
- Wprowadzenie budżetu rozmiaru obrazu dla każdej usługi, weryfikowanego w CI
Efekt
Czas pipeline'u typowej usługi skrócił się mniej więcej o połowę, a obrazy runtime znacznie się zmniejszyły po usunięciu narzędzi budowania — co skróciło też czas pobierania i zmniejszyło powierzchnię podatności raportowaną przez skanery.