Présentation
L'instance Grafana d'un opérateur télécom ralentissait au point de devenir inutilisable pendant les incidents majeurs, c'est-à-dire précisément quand l'équipe d'exploitation réseau en dépendait. AceMQ a corrigé le mode de défaillance au lieu d'ajouter des réplicas.
Défi
Le problème était auto-infligé : pendant un incident, des dizaines d'ingénieurs ouvraient le même ensemble de dashboards lourds, chacun envoyant de nombreuses requêtes de plage concurrentes à la datasource. Le backend ne suivait pas, les panels passaient en timeout, les ingénieurs rafraîchissaient la page, et la tempête de retries aggravait la situation. Les écritures de sessions et d'annotations de Grafana dans sa propre base de données ajoutaient encore de la contention. Rien n'était cassé pris isolément ; le système ne lâchait qu'au moment où l'on en avait besoin.
Environnement
Grafana sur Kubernetes adossé à une base de données relationnelle, interrogeant Prometheus et un stockage de métriques long terme sur plusieurs régions.
Approche
Nous avons reproduit la défaillance en testant en charge le schéma d'accès observé pendant les incidents plutôt que celui du régime normal. Les panels coûteux sont alors apparus clairement. Nous avons ensuite réduit le coût des requêtes par dashboard, ajouté un cache devant la datasource et séparé la charge de la base de données de Grafana du chemin des requêtes, pour que l'interface reste réactive même quand les datasources sont lentes.
Solution
- Test de charge construit sur le schéma d'accès réel des incidents — de nombreux utilisateurs simultanés sur les mêmes dashboards — plutôt que sur le trafic moyen
- Identification et réécriture des panels coûteux à l'aide de recording rules, pour que l'agrégation lourde soit calculée une seule fois à l'ingestion et non pour chaque utilisateur
- Ajout d'un cache des résultats de requêtes devant la datasource, avec des TTL réglés selon l'intervalle de rafraîchissement de chaque panel
- Révision des intervalles de rafraîchissement et des plages de temps par défaut des dashboards, pour qu'un onglet ouvert mais inutilisé cesse de générer une charge continue
- Optimisation de la base de données de Grafana et correction du pooling de connexions pour supprimer la contention due aux écritures d'annotations et de sessions
- Définition de timeouts de requête au niveau des panels, pour qu'une datasource lente dégrade un seul panel au lieu de bloquer tout le dashboard
Résultat obtenu
Pendant les incidents, le temps de chargement des dashboards est passé de plusieurs dizaines de secondes à un affichage quasi instantané, et les tempêtes de retries ne se produisent plus. L'équipe d'exploitation réseau utilise désormais Grafana pendant les incidents majeurs au lieu de se rabattre sur des requêtes ad hoc.