Retour à tous les cas d'usage

SupportServices financiers / paiements

En finir avec l'heure d'aveuglement de la supervision après chaque redémarrage de Prometheus

Processeur de paiements international

Support continu de grandes instances Prometheus dont les redémarrages créaient de longues zones aveugles de supervision, en raison d'un replay lent du write-ahead log.

Présentation

Un processeur de paiements ne pouvait pas redémarrer Prometheus pendant les heures ouvrées, car le replay durait assez longtemps pour laisser un trou important dans la supervision. Le moindre patch devenait ainsi un casse-tête de planification. AceMQ assure un support continu couvrant le comportement au redémarrage, la rétention et la disponibilité de la chaîne de métriques elle-même.

Défi

Chaque instance Prometheus portait un nombre très élevé de séries actives : le replay du WAL au démarrage durait longtemps, et l'instance ne répondait à aucune requête tant qu'il n'était pas terminé. La moindre éviction de nœud, un rechargement de configuration nécessitant un redémarrage ou une montée de version créait une zone aveugle que l'équipe risques refusait pendant les heures de marché. Le contournement évident — exécuter un second réplica — avait été tenté, mais donnait des résultats de requêtes incohérents faute de dédoublonnage entre les réplicas.

Environnement

Paires Prometheus par région sur Kubernetes avec stockage à long terme, nombre élevé de séries actives, fenêtres de changement réglementées.

Approche

Nous avons traité la zone aveugle sous deux angles : réduire le travail de replay lui-même et rendre le redémarrage invisible pour les clients des requêtes. Réduire le nombre de séries par relabeling a directement raccourci le replay. Placer une véritable déduplication des réplicas devant la paire a permis à une instance de redémarrer pendant que l'autre servait les requêtes, ce qui a fait des redémarrages des opérations ordinaires.

Solution

  1. Support 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, et ingénieurs seniors qui connaissent la topologie de chaque région
  2. Réduction du nombre de séries par suppression des métriques inutilisées via relabeling et consolidation des exporters en double
  3. Paires Prometheus hautement disponibles placées derrière une couche de requêtes avec déduplication, pour qu'une instance puisse redémarrer de façon transparente
  4. Réglage de la rétention et de la durée des blocs pour réduire la taille du WAL et raccourcir le replay sans perdre de profondeur de requête
  5. Procédures de redémarrage, de montée de version et de rechargement de configuration documentées et répétées dans le cadre de la fenêtre de changement réglementée
  6. Revue régulière de la croissance des séries pour que la durée du replay reste maîtrisée à mesure que de nouveaux services sont intégrés

Résultat obtenu

Les redémarrages ne créent plus de trou visible dans la supervision, et l'application des patchs est passée d'un exercice planifié hors des heures ouvrées à une opération progressive de routine. La durée du replay elle-même a baissé de bien plus de moitié une fois les séries inutilisées supprimées.

Technologies

PrometheusThanosKubernetesGrafana

Besoin d'un support Prometheus expert ?

Les ingénieurs Prometheus seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.