Retour à tous les cas d'usage

SupportLogiciels / plateformes numériques

Ramener l'astreinte à des alertes qui ont du sens

Éditeur de plateforme SaaS B2B

Un support continu pour un parc de monitors Datadog qui produisait plus d'alertes que l'équipe d'astreinte ne pouvait réellement en traiter.

Présentation

Les ingénieurs d'astreinte d'un éditeur SaaS acquittaient les alertes par réflexe, car la plupart ne demandaient aucune action. AceMQ assure un support continu pour que le parc de monitors reste pertinent, en travaillant aux côtés de l'équipe du client sur sa propre organisation Datadog.

Défi

Les monitors s'étaient accumulés au fil des ans, sans aucun processus de retrait. Beaucoup utilisaient des seuils statiques fixés par rapport à des niveaux de trafic qui n'existaient plus, si bien qu'ils se déclenchaient à chaque pic normal. Des monitors composites provoquaient des tempêtes d'alertes où une seule défaillance sous-jacente générait des dizaines de pages. Des monitors multi-alertes étaient regroupés selon un tag devenu entre-temps à forte cardinalité, générant une alerte par instance au lieu d'une par service. Personne n'était responsable du parc, si bien que rien n'était jamais supprimé.

Environnement

Datadog supervisant un parc AWS et Kubernetes multi-régions, avec des alertes acheminées vers une astreinte.

Approche

Nous partons de l'historique des alertes plutôt que des opinions : quels monitors se sont déclenchés, à quelle fréquence, et si quelqu'un a fait quoi que ce soit en conséquence. Les monitors qui ne débouchent jamais sur une action sont retirés ou rétrogradés au rang de dashboard. Ceux qui comptent reçoivent des seuils qui reflètent le comportement actuel, un regroupement approprié et des règles de downtime qui suppriment le bruit prévisible.

Solution

  1. Support 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, et des ingénieurs seniors attitrés intégrés au rythme de revue des alertes du client
  2. Analyse de l'historique des alertes monitor par monitor pour distinguer ceux qui entraînent une action de ceux qui sont toujours acquittés puis clos
  3. Remplacement des seuils statiques par des conditions basées sur la détection d'anomalies ou les prévisions là où le signal sous-jacent présente une réelle saisonnalité
  4. Correction du regroupement des multi-alertes pour que les alertes arrivent par service plutôt que par instance éphémère
  5. Restructuration de la logique des monitors composites pour qu'une défaillance racine produise une seule page au lieu d'une tempête
  6. Monitors définis as code avec un responsable attitré, pour que les monitors sans propriétaire soient visibles et puissent être supprimés

Résultat obtenu

Le volume de pages a baissé d'environ deux tiers, tandis que les monitors couvrant un réel impact client sont restés en place. Les délais d'acquittement se sont améliorés, car les ingénieurs ont cessé de considérer les pages comme un bruit de fond.

Technologies

DatadogKubernetesTerraformPagerDuty

Besoin d'un support Datadog expert ?

Les ingénieurs Datadog seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.