Przegląd
Grupa usług finansowych miała metryki w jednym narzędziu, logi w drugim, a ślady w trzecim, bez żadnych wspólnych identyfikatorów. AceMQ zaprojektowało konsolidację na stosie z Grafana jako frontendem, w którym inżynier może przejść od skoku metryki do powiązanych logów i śladów bez odtwarzania kontekstu od nowa.
Wyzwanie
Trzy typy sygnałów używały różnych nazw dla tych samych rzeczy — nazwy usług różniły się wielkością liter i sufiksami, środowiska były etykietowane niespójnie, a w logach brakowało wspólnego identyfikatora śladu lub żądania. Powiązanie alertu z logami wymagało od człowieka tłumaczenia między schematami nazewnictwa pod presją czasu. Zdublowani agenci w całym środowisku sprawiali też, że ten sam host był odpytywany kilkukrotnie.
Środowisko
Środowisko hybrydowe z obciążeniami na Kubernetes i starszymi maszynami wirtualnymi; wiele regulowanych środowisk wymagających rozdzielenia ze względu na lokalizację danych.
Podejście
Prace projektowe rozpoczęliśmy od taksonomii etykiet, a nie od narzędzi, ponieważ korelacja jest problemem nazewnictwa, zanim stanie się problemem produktu. Zdefiniowaliśmy wymagany zestaw etykiet stosowany jednolicie w metrykach, logach i śladach, określiliśmy propagację kontekstu śladu tak, aby linie logów zawierały identyfikator śladu, a następnie zaprojektowaliśmy topologię zbierania danych, która egzekwuje te zasady na poziomie agentów.
Rozwiązanie
- Zdefiniowanie obowiązkowej taksonomii etykiet dla usługi, środowiska, regionu i zespołu, stosowanej identycznie w metrykach, logach i śladach
- Zaprojektowanie propagacji kontekstu śladu tak, aby linie logów zawierały identyfikatory śladu i spanu, dzięki czemu przejście od metryki do logu i śladu wymaga jednego kliknięcia
- Uporządkowanie topologii zbierania danych do jednego agenta na host, co eliminuje zdublowane odpytywanie i związane z nim koszty przechowywania
- Egzekwowanie granic lokalizacji danych na poziomie zbierania, tak aby regulowane regiony nigdy nie przesyłały telemetrii za granicę
- Zdefiniowanie poziomów retencji dla każdego typu sygnału: dane o wysokiej rozdzielczości przechowywane krótko, dane zagregowane — długo
- Migracja prowadzona usługa po usłudze z okresami podwójnej emisji, aby żaden zespół nie stracił widoczności w trakcie przejścia
Efekt
Inżynierowie przechodzą teraz od alertu bezpośrednio do powiązanych logów i śladu w Grafana, zamiast ręcznie tłumaczyć identyfikatory. Usunięcie zdublowanego zbierania danych wyraźnie zmniejszyło wolumen telemetrii, a wspólna taksonomia sprawdza się przy wdrażaniu kolejnych usług.