Présentation
Les ingénieurs d'astreinte d'un éditeur SaaS acquittaient les alertes par réflexe, car la plupart ne demandaient aucune action. AceMQ assure un support continu pour que le parc de monitors reste pertinent, en travaillant aux côtés de l'équipe du client sur sa propre organisation Datadog.
Défi
Les monitors s'étaient accumulés au fil des ans, sans aucun processus de retrait. Beaucoup utilisaient des seuils statiques fixés par rapport à des niveaux de trafic qui n'existaient plus, si bien qu'ils se déclenchaient à chaque pic normal. Des monitors composites provoquaient des tempêtes d'alertes où une seule défaillance sous-jacente générait des dizaines de pages. Des monitors multi-alertes étaient regroupés selon un tag devenu entre-temps à forte cardinalité, générant une alerte par instance au lieu d'une par service. Personne n'était responsable du parc, si bien que rien n'était jamais supprimé.
Environnement
Datadog supervisant un parc AWS et Kubernetes multi-régions, avec des alertes acheminées vers une astreinte.
Approche
Nous partons de l'historique des alertes plutôt que des opinions : quels monitors se sont déclenchés, à quelle fréquence, et si quelqu'un a fait quoi que ce soit en conséquence. Les monitors qui ne débouchent jamais sur une action sont retirés ou rétrogradés au rang de dashboard. Ceux qui comptent reçoivent des seuils qui reflètent le comportement actuel, un regroupement approprié et des règles de downtime qui suppriment le bruit prévisible.
Solution
- Support 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, et des ingénieurs seniors attitrés intégrés au rythme de revue des alertes du client
- Analyse de l'historique des alertes monitor par monitor pour distinguer ceux qui entraînent une action de ceux qui sont toujours acquittés puis clos
- Remplacement des seuils statiques par des conditions basées sur la détection d'anomalies ou les prévisions là où le signal sous-jacent présente une réelle saisonnalité
- Correction du regroupement des multi-alertes pour que les alertes arrivent par service plutôt que par instance éphémère
- Restructuration de la logique des monitors composites pour qu'une défaillance racine produise une seule page au lieu d'une tempête
- Monitors définis as code avec un responsable attitré, pour que les monitors sans propriétaire soient visibles et puissent être supprimés
Résultat obtenu
Le volume de pages a baissé d'environ deux tiers, tandis que les monitors couvrant un réel impact client sont restés en place. Les délais d'acquittement se sont améliorés, car les ingénieurs ont cessé de considérer les pages comme un bruit de fond.