Przegląd
Rachunek za obserwowalność platformy e-commerce rósł szybciej niż jej ruch — głównie za sprawą metryk niestandardowych, których nikt nie przeglądał. AceMQ pomogło ustalić, skąd bierze się wolumen, i wprowadzić mechanizmy kontroli, które działają także wtedy, gdy wdrażane są nowe usługi.
Wyzwanie
O rozliczeniu metryk niestandardowych decydują unikalne kombinacje tagów, a kilka zespołów dodało jako tagi identyfikatory wdrożeń, nazwy podów i identyfikatory klientów. Jedna metryka z tagiem nazwy poda w często rotowanym wdrożeniu generowała ogromną liczbę płatnych serii, których nie odpytywał żaden dashboard. Ingest logów miał ten sam problem w innej postaci: logi na poziomie debug z gadatliwego frameworka stanowiły dużą część indeksowanego wolumenu i nigdy nie były przeszukiwane.
Środowisko
Datadog w wielokontowym środowisku AWS z obciążeniami na Kubernetes, wysoką częstotliwością wdrożeń i wieloma zespołami produktowymi.
Podejście
Nie obsługujemy platformy dostawcy; pomagamy klientom kontrolować to, co do niej wysyłają. W ramach projektu określiliśmy wolumen według pochodzenia, ustaliliśmy, która telemetria jest faktycznie odpytywana, a następnie wdrożyliśmy mechanizmy kontroli w warstwach emisji i zbierania danych, aby redukcje nie odwracały się po cichu przy kolejnym wdrożeniu.
Rozwiązanie
- Przypisanie wolumenu metryk niestandardowych do konkretnych metryk i kluczy tagów, z rankingiem według udziału w płatnych seriach
- Zestawienie z wykorzystaniem zapytań, dzięki któremu metryki i tagi, których nikt nigdy nie odpytywał, zostają oznaczone jako bezpieczne do usunięcia
- Zdefiniowanie zasad dotyczących tagów — identyfikatory o nieograniczonej liczbie wartości należą do logów lub śladów, nigdy do tagów metryk
- Filtrowanie metryk i tagów w warstwie zbierania danych, dzięki czemu reguła jest egzekwowana niezależnie od tego, co emitują aplikacje
- Rozdzielenie polityki indeksowania logów tak, aby logi o dużym wolumenie i niskiej wartości były przechowywane bez indeksowania do wyszukiwania
- Zmiana strategii próbkowania śladów: ślady błędów i wolnych żądań zachowywane w pełnej wierności, a rutynowe udane żądania próbkowane
Efekt
Płatny wolumen metryk niestandardowych spadł mniej więcej o połowę bez utraty pokrycia dashboardami i alertami, a wolumen indeksowanych logów zmniejszył się w podobnym stopniu. Ponieważ filtrowanie odbywa się w warstwie zbierania danych, zespół dodający tag o wysokiej kardynalności nie powoduje już niespodzianki na fakturze.