Zurück zu allen Kundenbeispielen

SupportSoftware / Digitale Plattformen

Die Rufbereitschaft wieder auf Alerts bringen, die etwas bedeuten

Anbieter einer B2B-SaaS-Plattform

Laufender Support für einen Bestand an Datadog-Monitoren, der mehr Alerts erzeugte, als die Rufbereitschaft sinnvoll bearbeiten konnte.

Überblick

Die Engineers in der Rufbereitschaft eines SaaS-Anbieters bestätigten Alerts reflexartig, weil die meisten keine Aktion erforderten. AceMQ liefert laufenden Support, damit der Monitor-Bestand aussagekräftig bleibt, und arbeitet dabei gemeinsam mit dem Team des Kunden in dessen eigener Datadog-Organisation.

Herausforderung

Monitore hatten sich über Jahre angesammelt, ohne dass es einen Prozess zu ihrer Stilllegung gab. Viele nutzten statische Schwellenwerte, die auf Traffic-Niveaus von früher abgestimmt waren, und lösten deshalb bei jeder normalen Spitze aus. Composite Monitors erzeugten Alert-Stürme, bei denen ein einziger zugrunde liegender Fehler Dutzende Alarmierungen auslöste. Multi-Alert-Monitore gruppierten nach einem Tag, das inzwischen eine hohe Kardinalität hatte, und erzeugten so einen Alert pro Instanz statt einen pro Service. Niemand war für den Bestand verantwortlich, also wurde auch nie etwas entfernt.

Umgebung

Datadog zur Überwachung einer Multi-Region-Landschaft aus AWS und Kubernetes, Alerts werden in eine Rufbereitschaft geroutet.

Vorgehen

Wir arbeiten mit der Alert-Historie statt mit Meinungen: welche Monitore ausgelöst haben, wie oft und ob daraufhin jemand etwas unternommen hat. Monitore, die nie zu einer Aktion führen, werden stillgelegt oder auf ein Dashboard herabgestuft. Die wichtigen erhalten Schwellenwerte, die das aktuelle Verhalten widerspiegeln, eine passende Gruppierung und Downtime-Regeln, die das vorhersehbare Rauschen unterdrücken.

Lösung

  1. 24/7-Support mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, und namentlich zugeordneten Senior Engineers, die in den Review-Rhythmus des Kunden für Alerts eingebunden sind
  2. Alert-Historie pro Monitor analysiert, um die Monitore, die Aktionen auslösen, von denen zu trennen, die immer nur bestätigt und geschlossen werden
  3. Statische Schwellenwerte durch anomalie- oder prognosebasierte Bedingungen ersetzt, wo das zugrunde liegende Signal echte Saisonalität aufweist
  4. Gruppierung der Multi-Alert-Monitore korrigiert, sodass Alerts pro Service statt pro kurzlebiger Instanz eintreffen
  5. Die Logik der Composite Monitors umgebaut, sodass ein einzelner Grundfehler eine Alarmierung statt eines Sturms auslöst
  6. Monitore als Code mit zugeordneten Verantwortlichen definiert, damit Monitore ohne Owner sichtbar werden und entfernt werden können

Resultat

Das Alarmierungsvolumen sank um rund zwei Drittel, während die Monitore für echte Auswirkungen auf Kunden erhalten blieben. Die Bestätigungszeiten verbesserten sich, weil die Engineers Alarmierungen nicht mehr als Hintergrundrauschen behandelten.

Technologien

DatadogKubernetesTerraformPagerDuty

Brauchen Sie Expertensupport für Datadog?

Die Senior Engineers von AceMQ für Datadog haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.