Volver a todos los casos de uso

SoporteMultisectorial

El disco se llena, el nodo pasa a NotReady y nadie limpió nada

Empresa de streaming de medios

Fin de las caídas recurrentes de agentes de build y nodos causadas por la caché de build de Docker sin limpiar, imágenes dangling y volúmenes huérfanos que llenaban el sistema de archivos.

Descripción general

La caché de build de Docker, las imágenes dangling, los contenedores detenidos y los volúmenes huérfanos se acumulan en silencio. En un agente de build con mucha actividad, el sistema de archivos se llena en pocas semanas, y el primer síntoma visible suele ser la falla de algo que no tiene relación aparente: un nodo marcado como NotReady o una base de datos que rechaza escrituras en el mismo volumen.

Desafío

Los agentes de build fallaban cada pocas semanas con errores de falta de espacio, y en dos ocasiones un nodo compartido se llenó y desalojó pods de producción que no tenían nada que ver. La limpieza era manual e inconsistente. Las cache mounts de BuildKit y las capas de los builds multi-stage eran lo que más rápido se acumulaba, y un conjunto de volúmenes huérfanos de contenedores eliminados nunca se había recuperado.

Entorno

Agentes de build de CI y nodos de Kubernetes con cargas de trabajo contenerizadas, con builds de imágenes frecuentes en muchos servicios.

Enfoque

AceMQ midió qué era lo que realmente consumía el disco antes de cambiar nada, separando caché de build, capas de imágenes, capas de escritura de los contenedores, logs y volúmenes huérfanos, porque la política de retención adecuada es distinta para cada uno. Luego establecimos una limpieza automatizada con una retención que conserva el valor de la caché en lugar de descartarla por completo.

Solución

  1. Desglose del consumo de disco en caché de build, capas de imágenes, capas de contenedores, logs y volúmenes huérfanos
  2. Limpieza automatizada con retención basada en antigüedad y tamaño, que mantiene útil la caché reciente
  3. Configuración de límites de retención de la caché de BuildKit para que las cache mounts dejen de crecer sin límite
  4. Habilitación de la rotación de logs de los contenedores con límites de tamaño a nivel del daemon
  5. Separación del almacenamiento de los agentes de build del almacenamiento de las cargas de trabajo, para que un build no pueda llenar un nodo de producción
  6. Alertas de uso de disco con umbrales que se disparan mucho antes de que el sistema de archivos se llene

Resultado final

Las fallas recurrentes por falta de espacio terminaron, y la tasa de aciertos de la caché de build se mantuvo alta porque la limpieza se basa en la retención y no en un borrado total. Los pods de producción ya no comparten el sistema de archivos con la caché de build.

Tecnologías

DockerKubernetesAirbytePostgreSQL

¿Necesita soporte experto de Docker?

Los ingenieros sénior de Docker de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.