Powrót do wszystkich studiów przypadków

DoradztwoUsługi finansowe / obrót instrumentami

Jedno miejsce do analizy i etykiety, które naprawdę pozwalają przechodzić między sygnałami

Grupa usług finansowych

Projekt doradczy polegający na konsolidacji rozproszonych metryk, logów i śladów w jednej warstwie obserwowalności opartej na Grafana, ze spójnym etykietowaniem.

Przegląd

Grupa usług finansowych miała metryki w jednym narzędziu, logi w drugim, a ślady w trzecim, bez żadnych wspólnych identyfikatorów. AceMQ zaprojektowało konsolidację na stosie z Grafana jako frontendem, w którym inżynier może przejść od skoku metryki do powiązanych logów i śladów bez odtwarzania kontekstu od nowa.

Wyzwanie

Trzy typy sygnałów używały różnych nazw dla tych samych rzeczy — nazwy usług różniły się wielkością liter i sufiksami, środowiska były etykietowane niespójnie, a w logach brakowało wspólnego identyfikatora śladu lub żądania. Powiązanie alertu z logami wymagało od człowieka tłumaczenia między schematami nazewnictwa pod presją czasu. Zdublowani agenci w całym środowisku sprawiali też, że ten sam host był odpytywany kilkukrotnie.

Środowisko

Środowisko hybrydowe z obciążeniami na Kubernetes i starszymi maszynami wirtualnymi; wiele regulowanych środowisk wymagających rozdzielenia ze względu na lokalizację danych.

Podejście

Prace projektowe rozpoczęliśmy od taksonomii etykiet, a nie od narzędzi, ponieważ korelacja jest problemem nazewnictwa, zanim stanie się problemem produktu. Zdefiniowaliśmy wymagany zestaw etykiet stosowany jednolicie w metrykach, logach i śladach, określiliśmy propagację kontekstu śladu tak, aby linie logów zawierały identyfikator śladu, a następnie zaprojektowaliśmy topologię zbierania danych, która egzekwuje te zasady na poziomie agentów.

Rozwiązanie

  1. Zdefiniowanie obowiązkowej taksonomii etykiet dla usługi, środowiska, regionu i zespołu, stosowanej identycznie w metrykach, logach i śladach
  2. Zaprojektowanie propagacji kontekstu śladu tak, aby linie logów zawierały identyfikatory śladu i spanu, dzięki czemu przejście od metryki do logu i śladu wymaga jednego kliknięcia
  3. Uporządkowanie topologii zbierania danych do jednego agenta na host, co eliminuje zdublowane odpytywanie i związane z nim koszty przechowywania
  4. Egzekwowanie granic lokalizacji danych na poziomie zbierania, tak aby regulowane regiony nigdy nie przesyłały telemetrii za granicę
  5. Zdefiniowanie poziomów retencji dla każdego typu sygnału: dane o wysokiej rozdzielczości przechowywane krótko, dane zagregowane — długo
  6. Migracja prowadzona usługa po usłudze z okresami podwójnej emisji, aby żaden zespół nie stracił widoczności w trakcie przejścia

Efekt

Inżynierowie przechodzą teraz od alertu bezpośrednio do powiązanych logów i śladu w Grafana, zamiast ręcznie tłumaczyć identyfikatory. Usunięcie zdublowanego zbierania danych wyraźnie zmniejszyło wolumen telemetrii, a wspólna taksonomia sprawdza się przy wdrażaniu kolejnych usług.

Technologie

GrafanaPrometheusLokiTempoKubernetes

Potrzebują Państwo doradztwa w zakresie architektury Grafana?

Starsi inżynierowie Grafana w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.