Powrót do wszystkich studiów przypadków

DoradztwoOprogramowanie / platformy cyfrowe

Kontrola kardynalności metryk niestandardowych, która przetrwa kolejne wdrożenie

Platforma handlu cyfrowego

Doradztwo w zakresie kontroli kardynalności metryk niestandardowych, ingestu logów i wolumenu śladów (traces), tak aby wydatki na obserwowalność odzwierciedlały wartość, a nie przypadek.

Przegląd

Rachunek za obserwowalność platformy e-commerce rósł szybciej niż jej ruch — głównie za sprawą metryk niestandardowych, których nikt nie przeglądał. AceMQ pomogło ustalić, skąd bierze się wolumen, i wprowadzić mechanizmy kontroli, które działają także wtedy, gdy wdrażane są nowe usługi.

Wyzwanie

O rozliczeniu metryk niestandardowych decydują unikalne kombinacje tagów, a kilka zespołów dodało jako tagi identyfikatory wdrożeń, nazwy podów i identyfikatory klientów. Jedna metryka z tagiem nazwy poda w często rotowanym wdrożeniu generowała ogromną liczbę płatnych serii, których nie odpytywał żaden dashboard. Ingest logów miał ten sam problem w innej postaci: logi na poziomie debug z gadatliwego frameworka stanowiły dużą część indeksowanego wolumenu i nigdy nie były przeszukiwane.

Środowisko

Datadog w wielokontowym środowisku AWS z obciążeniami na Kubernetes, wysoką częstotliwością wdrożeń i wieloma zespołami produktowymi.

Podejście

Nie obsługujemy platformy dostawcy; pomagamy klientom kontrolować to, co do niej wysyłają. W ramach projektu określiliśmy wolumen według pochodzenia, ustaliliśmy, która telemetria jest faktycznie odpytywana, a następnie wdrożyliśmy mechanizmy kontroli w warstwach emisji i zbierania danych, aby redukcje nie odwracały się po cichu przy kolejnym wdrożeniu.

Rozwiązanie

  1. Przypisanie wolumenu metryk niestandardowych do konkretnych metryk i kluczy tagów, z rankingiem według udziału w płatnych seriach
  2. Zestawienie z wykorzystaniem zapytań, dzięki któremu metryki i tagi, których nikt nigdy nie odpytywał, zostają oznaczone jako bezpieczne do usunięcia
  3. Zdefiniowanie zasad dotyczących tagów — identyfikatory o nieograniczonej liczbie wartości należą do logów lub śladów, nigdy do tagów metryk
  4. Filtrowanie metryk i tagów w warstwie zbierania danych, dzięki czemu reguła jest egzekwowana niezależnie od tego, co emitują aplikacje
  5. Rozdzielenie polityki indeksowania logów tak, aby logi o dużym wolumenie i niskiej wartości były przechowywane bez indeksowania do wyszukiwania
  6. Zmiana strategii próbkowania śladów: ślady błędów i wolnych żądań zachowywane w pełnej wierności, a rutynowe udane żądania próbkowane

Efekt

Płatny wolumen metryk niestandardowych spadł mniej więcej o połowę bez utraty pokrycia dashboardami i alertami, a wolumen indeksowanych logów zmniejszył się w podobnym stopniu. Ponieważ filtrowanie odbywa się w warstwie zbierania danych, zespół dodający tag o wysokiej kardynalności nie powoduje już niespodzianki na fakturze.

Technologie

DatadogKubernetesTerraformOpenTelemetry

Potrzebują Państwo doradztwa w zakresie architektury Datadog?

Starsi inżynierowie Datadog w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.