Voltar para todos os casos de uso

SuporteMultissetorial

O disco enche, o nó fica NotReady e ninguém fez nenhuma limpeza

Empresa de streaming de mídia

Fim das indisponibilidades recorrentes de build agents e nós causadas por build cache do Docker sem limpeza, imagens dangling e volumes órfãos enchendo o sistema de arquivos.

Visão geral

Build cache do Docker, imagens dangling, containers parados e volumes órfãos se acumulam em silêncio. Em um build agent movimentado, o sistema de arquivos enche em poucas semanas, e o primeiro sintoma visível costuma ser a falha de algo sem relação aparente: um nó marcado como NotReady ou um banco de dados recusando gravações no mesmo volume.

Desafio

Os build agents falhavam a cada poucas semanas com erros de falta de espaço e, em duas ocasiões, um nó compartilhado encheu e despejou pods de produção sem relação com os builds. A limpeza era manual e inconsistente. Os cache mounts do BuildKit e as camadas de builds multi-stage eram o que mais crescia, e um conjunto de volumes órfãos de containers removidos nunca tinha sido recuperado.

Ambiente

Build agents de CI e nós Kubernetes executando cargas conteinerizadas, com builds frequentes de imagens para muitos serviços.

Abordagem

A AceMQ mediu o que realmente consumia disco antes de mudar qualquer coisa, separando build cache, camadas de imagem, camadas graváveis dos containers, logs e volumes órfãos, porque a política de retenção correta é diferente para cada um. Depois, implantamos uma limpeza automatizada com retenção que preserva o valor do cache, em vez de descartá-lo por completo.

Solução

  1. Detalhamento do consumo de disco por build cache, camadas de imagem, camadas de container, logs e volumes órfãos
  2. Limpeza automatizada com retenção por idade e tamanho que mantém útil o cache recente
  3. Configuração de limites de retenção do cache do BuildKit, para que os cache mounts parem de crescer sem limite
  4. Rotação de logs dos containers com limites de tamanho no nível do daemon
  5. Separação entre o armazenamento dos build agents e o das cargas de trabalho, para que um build não consiga encher um nó de produção
  6. Alertas de uso de disco com limites que disparam bem antes de o sistema de arquivos encher

Resultado obtido

As falhas recorrentes por falta de espaço acabaram, e a taxa de acerto do build cache continuou alta porque a limpeza se baseia em retenção, e não em apagar tudo. Os pods de produção não compartilham mais o sistema de arquivos com o build cache.

Tecnologias

DockerKubernetesAirbytePostgreSQL

Precisa de suporte especializado em Docker?

Os engenheiros Docker sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.