Torna a tutti i casi d'uso

SupportoTrasversale

Il disco si riempie, il nodo va in NotReady e nessuno ha fatto pulizia

Azienda di media streaming

Eliminazione dei disservizi ricorrenti di build agent e nodi causati da build cache di Docker mai ripulita, immagini dangling e volumi orfani che riempivano il filesystem.

Panoramica

Build cache di Docker, immagini dangling, container fermi e volumi orfani si accumulano in silenzio. Su un build agent molto utilizzato il filesystem si riempie nel giro di poche settimane, e il primo sintomo visibile è di solito il guasto di qualcosa che non c'entra: un nodo segnato come NotReady o un database che rifiuta le scritture sullo stesso volume.

Sfida

I build agent si bloccavano ogni poche settimane con errori di spazio esaurito e, in due occasioni, un nodo condiviso si era riempito provocando l'eviction di pod di produzione estranei al problema. La pulizia era manuale e discontinua. Le cache mount di BuildKit e i layer delle build multi-stage erano gli elementi che crescevano più in fretta, e un insieme di volumi orfani lasciati da container rimossi non era mai stato recuperato.

Ambiente

Build agent di CI e nodi Kubernetes con workload containerizzati, con build frequenti di immagini per numerosi servizi.

Approccio

Prima di modificare qualsiasi cosa, AceMQ ha misurato che cosa consumasse davvero il disco, separando build cache, layer delle immagini, layer scrivibili dei container, log e volumi orfani, perché la policy di retention corretta è diversa per ciascuno. Abbiamo poi introdotto un pruning automatico con una retention che preserva il valore della cache invece di eliminarla in blocco.

Soluzione

  1. Consumo del disco scomposto tra build cache, layer delle immagini, layer dei container, log e volumi orfani
  2. Pruning automatico con retention basata su età e dimensione, che mantiene utile la cache recente
  3. Configurati limiti di retention della cache di BuildKit, così che le cache mount smettano di crescere senza limiti
  4. Abilitata a livello di daemon la rotazione dei log dei container con limiti di dimensione
  5. Storage dei build agent separato da quello dei workload, così che una build non possa riempire un nodo di produzione
  6. Aggiunto alerting sull'uso del disco con soglie che scattano ben prima che il filesystem sia pieno

Esito

I guasti ricorrenti per spazio esaurito sono cessati e il cache hit rate delle build è rimasto elevato, perché il pruning si basa sulla retention anziché su una cancellazione totale. I pod di produzione non condividono più il filesystem con la build cache.

Tecnologie

DockerKubernetesAirbytePostgreSQL

Vi serve supporto specialistico per Docker?

Gli ingegneri Docker senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.