Visão geral
Build cache do Docker, imagens dangling, containers parados e volumes órfãos se acumulam em silêncio. Em um build agent movimentado, o sistema de arquivos enche em poucas semanas, e o primeiro sintoma visível costuma ser a falha de algo sem relação aparente: um nó marcado como NotReady ou um banco de dados recusando gravações no mesmo volume.
Desafio
Os build agents falhavam a cada poucas semanas com erros de falta de espaço e, em duas ocasiões, um nó compartilhado encheu e despejou pods de produção sem relação com os builds. A limpeza era manual e inconsistente. Os cache mounts do BuildKit e as camadas de builds multi-stage eram o que mais crescia, e um conjunto de volumes órfãos de containers removidos nunca tinha sido recuperado.
Ambiente
Build agents de CI e nós Kubernetes executando cargas conteinerizadas, com builds frequentes de imagens para muitos serviços.
Abordagem
A AceMQ mediu o que realmente consumia disco antes de mudar qualquer coisa, separando build cache, camadas de imagem, camadas graváveis dos containers, logs e volumes órfãos, porque a política de retenção correta é diferente para cada um. Depois, implantamos uma limpeza automatizada com retenção que preserva o valor do cache, em vez de descartá-lo por completo.
Solução
- Detalhamento do consumo de disco por build cache, camadas de imagem, camadas de container, logs e volumes órfãos
- Limpeza automatizada com retenção por idade e tamanho que mantém útil o cache recente
- Configuração de limites de retenção do cache do BuildKit, para que os cache mounts parem de crescer sem limite
- Rotação de logs dos containers com limites de tamanho no nível do daemon
- Separação entre o armazenamento dos build agents e o das cargas de trabalho, para que um build não consiga encher um nó de produção
- Alertas de uso de disco com limites que disparam bem antes de o sistema de arquivos encher
Resultado obtido
As falhas recorrentes por falta de espaço acabaram, e a taxa de acerto do build cache continuou alta porque a limpeza se baseia em retenção, e não em apagar tudo. Os pods de produção não compartilham mais o sistema de arquivos com o build cache.