Descripción general
La caché de build de Docker, las imágenes huérfanas, los contenedores detenidos y los volúmenes abandonados se acumulan en silencio. En un agente de build con mucha actividad, el sistema de ficheros se llena en pocas semanas, y el primer síntoma visible suele ser un fallo en algo aparentemente ajeno: un nodo marcado como NotReady o una base de datos que rechaza escrituras en el mismo volumen.
Reto
Los agentes de build fallaban cada pocas semanas con errores de falta de espacio y, en dos ocasiones, un nodo compartido se llenó y desalojó pods de producción que no tenían nada que ver. La limpieza era manual e irregular. Los cache mounts de BuildKit y las capas de los builds multi-stage eran lo que más rápido crecía, y un conjunto de volúmenes abandonados de contenedores eliminados nunca se había recuperado.
Entorno
Agentes de build de CI y nodos de Kubernetes con cargas de trabajo en contenedores y construcciones frecuentes de imágenes para muchos servicios.
Enfoque
AceMQ midió qué consumía realmente el disco antes de cambiar nada, separando caché de build, capas de imagen, capas de escritura de los contenedores, logs y volúmenes abandonados, porque la política de retención adecuada es distinta para cada uno. Después implantamos una purga automatizada con una retención que conserva el valor de la caché en lugar de eliminarla por completo.
Solución
- Desglose del consumo de disco en caché de build, capas de imagen, capas de contenedor, logs y volúmenes abandonados
- Purga automatizada con retención por antigüedad y tamaño que mantiene útil la caché reciente
- Configuración de límites de retención de la caché de BuildKit para que los cache mounts dejen de crecer sin control
- Activación de la rotación de logs de contenedores con límites de tamaño a nivel del daemon
- Separación del almacenamiento de los agentes de build del de las cargas de trabajo, para que un build no pueda llenar un nodo de producción
- Alertas de uso de disco con umbrales que saltan mucho antes de que el sistema de ficheros se llene
Resultado final
Los fallos recurrentes por falta de espacio cesaron y la tasa de aciertos de la caché de build se mantuvo alta, porque la purga se basa en la retención y no en un borrado total. Los pods de producción ya no comparten sistema de ficheros con la caché de build.