Zurück zu allen Kundenbeispielen

BeratungSoftware / Digitale Plattformen

Governance für die Kardinalität von Custom Metrics, die auch das nächste Deployment übersteht

Digitale Commerce-Plattform

Beratungsprojekt zur Steuerung von Custom-Metric-Kardinalität, Log-Ingest und Trace-Volumen, damit die Observability-Kosten dem Nutzen folgen statt dem Zufall.

Überblick

Die Observability-Rechnung einer Commerce-Plattform wuchs schneller als ihr Traffic – getrieben vor allem von Custom Metrics, die nie jemand geprüft hatte. AceMQ half dem Team zu verstehen, woher das Volumen kam, und führte Kontrollen ein, die auch bei neu ausgerollten Services greifen.

Herausforderung

Die Abrechnung von Custom Metrics richtet sich nach den unterschiedlichen Tag-Kombinationen, und mehrere Teams hatten Deployment-IDs, Pod-Namen und Kunden-IDs als Tags hinzugefügt. Eine einzige Metrik mit Pod-Namen-Tag auf einem Deployment mit hoher Fluktuation erzeugte eine enorme Zahl abrechnungsrelevanter Serien, die kein Dashboard je abfragte. Beim Log-Ingest zeigte sich dasselbe Problem in anderer Form: Debug-Logs eines sehr gesprächigen Frameworks machten einen großen Teil des indexierten Volumens aus und wurden nie durchsucht.

Umgebung

Datadog in einer AWS-Umgebung mit mehreren Accounts, Kubernetes-Workloads, hoher Deployment-Frequenz und mehreren Produktteams.

Vorgehen

Wir betreiben nicht die Plattform des Herstellers; wir helfen Kunden zu steuern, was sie an sie senden. Das Projekt bezifferte das Volumen nach Herkunft, ermittelte, welche Telemetrie tatsächlich abgefragt wurde, und setzte dann Kontrollen auf Emissions- und Collection-Ebene um, damit sich die Einsparungen beim nächsten Deploy nicht unbemerkt wieder umkehren.

Lösung

  1. Custom-Metric-Volumen konkreten Metriken und Tag-Keys zugeordnet und nach Anteil an abrechnungsrelevanten Serien gereiht
  2. Abfragenutzung abgeglichen, sodass nie abgefragte Metriken und Tags als gefahrlos entfernbar identifiziert werden
  3. Tag-Governance definiert: Identifikatoren mit unbegrenzten Werten gehören in Logs oder Traces, nie in Metrik-Tags
  4. Filter für Metriken und Tags auf der Collection-Ebene eingerichtet, sodass die Regel unabhängig davon greift, was Anwendungen senden
  5. Log-Indexing-Policy aufgeteilt, damit umfangreiche Logs mit geringem Wert aufbewahrt, aber nicht für die Suche indexiert werden
  6. Trace-Sampling-Strategie überarbeitet: Fehler- und langsame Traces bleiben vollständig erhalten, routinemäßige erfolgreiche Requests werden gesampelt

Resultat

Das abrechnungsrelevante Custom-Metric-Volumen sank um rund die Hälfte, ohne Abstriche bei Dashboards oder Alerts, und das indexierte Log-Volumen ging in ähnlichem Umfang zurück. Weil die Filterung auf der Collection-Ebene greift, führt ein Team, das einen Tag mit hoher Kardinalität hinzufügt, nicht mehr zu einer bösen Überraschung auf der Rechnung.

Technologien

DatadogKubernetesTerraformOpenTelemetry

Brauchen Sie Architekturberatung für Datadog?

Die Senior Engineers von AceMQ für Datadog haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.