Descripción general
La caché de build de Docker, las imágenes dangling, los contenedores detenidos y los volúmenes huérfanos se acumulan en silencio. En un agente de build con mucha actividad, el sistema de archivos se llena en pocas semanas, y el primer síntoma visible suele ser la falla de algo que no tiene relación aparente: un nodo marcado como NotReady o una base de datos que rechaza escrituras en el mismo volumen.
Desafío
Los agentes de build fallaban cada pocas semanas con errores de falta de espacio, y en dos ocasiones un nodo compartido se llenó y desalojó pods de producción que no tenían nada que ver. La limpieza era manual e inconsistente. Las cache mounts de BuildKit y las capas de los builds multi-stage eran lo que más rápido se acumulaba, y un conjunto de volúmenes huérfanos de contenedores eliminados nunca se había recuperado.
Entorno
Agentes de build de CI y nodos de Kubernetes con cargas de trabajo contenerizadas, con builds de imágenes frecuentes en muchos servicios.
Enfoque
AceMQ midió qué era lo que realmente consumía el disco antes de cambiar nada, separando caché de build, capas de imágenes, capas de escritura de los contenedores, logs y volúmenes huérfanos, porque la política de retención adecuada es distinta para cada uno. Luego establecimos una limpieza automatizada con una retención que conserva el valor de la caché en lugar de descartarla por completo.
Solución
- Desglose del consumo de disco en caché de build, capas de imágenes, capas de contenedores, logs y volúmenes huérfanos
- Limpieza automatizada con retención basada en antigüedad y tamaño, que mantiene útil la caché reciente
- Configuración de límites de retención de la caché de BuildKit para que las cache mounts dejen de crecer sin límite
- Habilitación de la rotación de logs de los contenedores con límites de tamaño a nivel del daemon
- Separación del almacenamiento de los agentes de build del almacenamiento de las cargas de trabajo, para que un build no pueda llenar un nodo de producción
- Alertas de uso de disco con umbrales que se disparan mucho antes de que el sistema de archivos se llene
Resultado final
Las fallas recurrentes por falta de espacio terminaron, y la tasa de aciertos de la caché de build se mantuvo alta porque la limpieza se basa en la retención y no en un borrado total. Los pods de producción ya no comparten el sistema de archivos con la caché de build.