Présentation
Un processeur de paiements ne pouvait pas redémarrer Prometheus pendant les heures ouvrées, car le replay durait assez longtemps pour laisser un trou important dans la supervision. Le moindre patch devenait ainsi un casse-tête de planification. AceMQ assure un support continu couvrant le comportement au redémarrage, la rétention et la disponibilité de la chaîne de métriques elle-même.
Défi
Chaque instance Prometheus portait un nombre très élevé de séries actives : le replay du WAL au démarrage durait longtemps, et l'instance ne répondait à aucune requête tant qu'il n'était pas terminé. La moindre éviction de nœud, un rechargement de configuration nécessitant un redémarrage ou une montée de version créait une zone aveugle que l'équipe risques refusait pendant les heures de marché. Le contournement évident — exécuter un second réplica — avait été tenté, mais donnait des résultats de requêtes incohérents faute de dédoublonnage entre les réplicas.
Environnement
Paires Prometheus par région sur Kubernetes avec stockage à long terme, nombre élevé de séries actives, fenêtres de changement réglementées.
Approche
Nous avons traité la zone aveugle sous deux angles : réduire le travail de replay lui-même et rendre le redémarrage invisible pour les clients des requêtes. Réduire le nombre de séries par relabeling a directement raccourci le replay. Placer une véritable déduplication des réplicas devant la paire a permis à une instance de redémarrer pendant que l'autre servait les requêtes, ce qui a fait des redémarrages des opérations ordinaires.
Solution
- Support 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, et ingénieurs seniors qui connaissent la topologie de chaque région
- Réduction du nombre de séries par suppression des métriques inutilisées via relabeling et consolidation des exporters en double
- Paires Prometheus hautement disponibles placées derrière une couche de requêtes avec déduplication, pour qu'une instance puisse redémarrer de façon transparente
- Réglage de la rétention et de la durée des blocs pour réduire la taille du WAL et raccourcir le replay sans perdre de profondeur de requête
- Procédures de redémarrage, de montée de version et de rechargement de configuration documentées et répétées dans le cadre de la fenêtre de changement réglementée
- Revue régulière de la croissance des séries pour que la durée du replay reste maîtrisée à mesure que de nouveaux services sont intégrés
Résultat obtenu
Les redémarrages ne créent plus de trou visible dans la supervision, et l'application des patchs est passée d'un exercice planifié hors des heures ouvrées à une opération progressive de routine. La durée du replay elle-même a baissé de bien plus de moitié une fois les séries inutilisées supprimées.