Überblick
Docker Build Cache, Dangling Images, gestoppte Container und verwaiste Volumes sammeln sich unbemerkt an. Auf einem stark genutzten Build Agent ist das Dateisystem innerhalb weniger Wochen voll, und das erste sichtbare Symptom ist meist etwas scheinbar Unabhängiges – ein Knoten, der auf NotReady geht, oder eine Datenbank auf demselben Volume, die keine Schreibvorgänge mehr annimmt.
Herausforderung
Build Agents fielen alle paar Wochen mit No-Space-Fehlern aus, und zweimal lief ein gemeinsam genutzter Knoten voll und verdrängte unbeteiligte Produktions-Pods. Aufgeräumt wurde manuell und uneinheitlich. Am schnellsten wuchsen BuildKit Cache Mounts und Layer aus Multi-Stage-Builds, und eine Reihe verwaister Volumes entfernter Container war nie freigegeben worden.
Umgebung
CI-Build-Agents und Kubernetes-Knoten mit containerisierten Workloads und häufigen Image-Builds für viele Services.
Vorgehen
AceMQ maß zuerst, was den Speicherplatz tatsächlich belegte – getrennt nach Build Cache, Image Layers, beschreibbaren Container-Layern, Logs und verwaisten Volumes –, denn die richtige Aufbewahrungsregel ist für jede Kategorie eine andere. Anschließend führten wir ein automatisiertes Pruning mit einer Aufbewahrung ein, die den Nutzen des Caches erhält, statt ihn pauschal zu verwerfen.
Lösung
- Speicherbelegung nach Build Cache, Image Layers, Container-Layern, Logs und verwaisten Volumes aufgeschlüsselt
- Automatisiertes Pruning mit alters- und größenbasierter Aufbewahrung eingerichtet, die den aktuellen Cache nützlich hält
- Aufbewahrungslimits für den BuildKit Cache konfiguriert, damit Cache Mounts nicht mehr unbegrenzt wachsen
- Log-Rotation für Container mit Größenlimits auf Daemon-Ebene aktiviert
- Storage der Build Agents vom Storage der Workloads getrennt, damit ein Build keinen Produktionsknoten mehr füllen kann
- Alerting für die Datenträgerauslastung mit Schwellenwerten ergänzt, die lange vor einem vollen Dateisystem auslösen
Resultat
Die wiederkehrenden No-Space-Ausfälle hörten auf, und die Cache-Trefferquote blieb hoch, weil das Pruning auf Aufbewahrungsregeln basiert statt auf einem vollständigen Löschen. Produktions-Pods teilen sich kein Dateisystem mehr mit dem Build Cache.