Retour à tous les cas d'usage

RemédiationTélécommunications

Réparer une stack de supervision qui lâche exactement au mauvais moment

Opérateur de télécommunications

Remédiation d'un déploiement Grafana qui devenait inutilisable pendant les incidents, avec des dashboards en timeout précisément au moment où les ingénieurs en avaient le plus besoin.

Présentation

L'instance Grafana d'un opérateur télécom ralentissait au point de devenir inutilisable pendant les incidents majeurs, c'est-à-dire précisément quand l'équipe d'exploitation réseau en dépendait. AceMQ a corrigé le mode de défaillance au lieu d'ajouter des réplicas.

Défi

Le problème était auto-infligé : pendant un incident, des dizaines d'ingénieurs ouvraient le même ensemble de dashboards lourds, chacun envoyant de nombreuses requêtes de plage concurrentes à la datasource. Le backend ne suivait pas, les panels passaient en timeout, les ingénieurs rafraîchissaient la page, et la tempête de retries aggravait la situation. Les écritures de sessions et d'annotations de Grafana dans sa propre base de données ajoutaient encore de la contention. Rien n'était cassé pris isolément ; le système ne lâchait qu'au moment où l'on en avait besoin.

Environnement

Grafana sur Kubernetes adossé à une base de données relationnelle, interrogeant Prometheus et un stockage de métriques long terme sur plusieurs régions.

Approche

Nous avons reproduit la défaillance en testant en charge le schéma d'accès observé pendant les incidents plutôt que celui du régime normal. Les panels coûteux sont alors apparus clairement. Nous avons ensuite réduit le coût des requêtes par dashboard, ajouté un cache devant la datasource et séparé la charge de la base de données de Grafana du chemin des requêtes, pour que l'interface reste réactive même quand les datasources sont lentes.

Solution

  1. Test de charge construit sur le schéma d'accès réel des incidents — de nombreux utilisateurs simultanés sur les mêmes dashboards — plutôt que sur le trafic moyen
  2. Identification et réécriture des panels coûteux à l'aide de recording rules, pour que l'agrégation lourde soit calculée une seule fois à l'ingestion et non pour chaque utilisateur
  3. Ajout d'un cache des résultats de requêtes devant la datasource, avec des TTL réglés selon l'intervalle de rafraîchissement de chaque panel
  4. Révision des intervalles de rafraîchissement et des plages de temps par défaut des dashboards, pour qu'un onglet ouvert mais inutilisé cesse de générer une charge continue
  5. Optimisation de la base de données de Grafana et correction du pooling de connexions pour supprimer la contention due aux écritures d'annotations et de sessions
  6. Définition de timeouts de requête au niveau des panels, pour qu'une datasource lente dégrade un seul panel au lieu de bloquer tout le dashboard

Résultat obtenu

Pendant les incidents, le temps de chargement des dashboards est passé de plusieurs dizaines de secondes à un affichage quasi instantané, et les tempêtes de retries ne se produisent plus. L'équipe d'exploitation réseau utilise désormais Grafana pendant les incidents majeurs au lieu de se rabattre sur des requêtes ad hoc.

Technologies

GrafanaPrometheusKubernetesPostgreSQL

Confronté à un incident de production Grafana ?

Les ingénieurs Grafana seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.