Retour à tous les cas d'usage

SupportMultisectoriel

Le disque se remplit, le nœud passe en NotReady, et personne n'a rien purgé

Entreprise de streaming multimédia

Fin des pannes à répétition des agents de build et des nœuds, causées par un cache de build Docker jamais purgé, des images orphelines et des volumes abandonnés qui remplissaient le système de fichiers.

Présentation

Le cache de build Docker, les images orphelines, les conteneurs arrêtés et les volumes abandonnés s'accumulent sans bruit. Sur un agent de build très sollicité, le système de fichiers se remplit en quelques semaines, et le premier symptôme visible est généralement la défaillance de quelque chose qui n'a rien à voir : un nœud marqué NotReady, ou une base de données qui refuse les écritures sur le même volume.

Défi

Les agents de build tombaient en panne toutes les quelques semaines avec des erreurs d'espace disque insuffisant et, à deux reprises, un nœud partagé s'est rempli et a expulsé des pods de production sans aucun rapport. Le nettoyage était manuel et irrégulier. Les montages de cache BuildKit et les couches des builds multi-étapes étaient ce qui grossissait le plus vite, et un ensemble de volumes abandonnés, issus de conteneurs supprimés, n'avait jamais été récupéré.

Environnement

Agents de build CI et nœuds Kubernetes exécutant des charges conteneurisées, avec des builds d'images fréquents sur de nombreux services.

Approche

AceMQ a mesuré ce qui consommait réellement l'espace disque avant de toucher à quoi que ce soit, en distinguant le cache de build, les couches d'images, les couches inscriptibles des conteneurs, les logs et les volumes abandonnés, car la bonne politique de rétention diffère pour chacun. Nous avons ensuite mis en place une purge automatisée, avec une rétention qui préserve l'utilité du cache au lieu de tout supprimer en bloc.

Solution

  1. Ventilation de la consommation disque entre cache de build, couches d'images, couches de conteneurs, logs et volumes abandonnés
  2. Mise en place d'une purge automatisée avec une rétention fondée sur l'âge et la taille, qui garde le cache récent exploitable
  3. Configuration de limites de rétention du cache BuildKit pour que les montages de cache cessent de croître sans limite
  4. Activation de la rotation des logs des conteneurs, avec des limites de taille au niveau du démon
  5. Séparation du stockage des agents de build et de celui des charges, pour qu'un build ne puisse pas remplir un nœud de production
  6. Ajout d'alertes sur l'utilisation du disque, avec des seuils qui se déclenchent bien avant que le système de fichiers soit plein

Résultat obtenu

Les pannes récurrentes par manque d'espace ont cessé, et le taux de succès du cache de build est resté élevé, car la purge repose sur une rétention plutôt que sur un effacement complet. Les pods de production ne partagent plus de système de fichiers avec le cache de build.

Technologies

DockerKubernetesAirbytePostgreSQL

Besoin d'un support Docker expert ?

Les ingénieurs Docker seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.