Powrót do wszystkich studiów przypadków

Wsparcie techniczneWiele branż

Jeden zespół odpowiedzialny za całą ścieżkę od wiersza logu do dashboardu

Globalny dostawca usług logistycznych

Stałe wsparcie całej ścieżki pobierania danych w ELK – Beats, Logstash, potoki ingest i szablony indeksów – z obsługą 24/7.

Przegląd

Dostawca usług logistycznych używał ELK w lokalizacjach chmurowych i on-premises bez dedykowanego właściciela platformy. Problemy z pobieraniem danych zwykle wychodziły na jaw kilka dni później jako brakujące dane w dashboardach. AceMQ zapewnia stałe wsparcie całej ścieżki pobierania danych.

Wyzwanie

Awarie występowały w różnych warstwach, a nikt nie odpowiadał za cały łańcuch. Konflikty mapowań po cichu odrzucały dokumenty, gdy dwie usługi używały tej samej nazwy pola z różnymi typami – dane po prostu nigdy nie docierały, a dla odrzuceń nie istniał żaden alert. Szablony indeksów rozjeżdżały się między środowiskami, więc potok zweryfikowany na stagingu zachowywał się inaczej na produkcji. Agenty Beats na starszych hostach działały w wersjach, które wypadły poza obsługiwany zakres zgodności z klastrem.

Środowisko

Hybrydowe wdrożenie ELK z agentami Beats w lokalizacjach chmurowych i on-premises, z konfiguracją potoków współtworzoną przez wiele zespołów.

Podejście

Wsparcie obejmuje cały potok od początku do końca, bo to tam występują awarie. Ustawiamy alerty na odrzucenia dokumentów, aby cicha utrata danych stała się widoczna, utrzymujemy szablony indeksów i definicje potoków w systemie kontroli wersji z zachowaniem zgodności między środowiskami, a zgodnością wersji Beats zarządzamy jako zaplanowaną czynnością, a nie w trybie awaryjnym.

Rozwiązanie

  1. Wsparcie 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i przypisanymi starszymi inżynierami obejmującymi całą ścieżkę pobierania danych
  2. Alerty o odrzuceniach dokumentów i konfliktach mapowań, dzięki którym po cichu utracone dane są widoczne natychmiast
  3. Ujednolicone szablony indeksów i szablony komponentów z konwencją nazewnictwa pól, która zapobiega konfliktom typów
  4. Definicje potoków i szablonów w systemie kontroli wersji z wymuszoną zgodnością między stagingiem a produkcją
  5. Inwentaryzacja wersji agentów Beats i zaplanowany rytm aktualizacji, który utrzymuje całą flotę w obsługiwanym zakresie
  6. Przegląd zmian w potokach przed ich trafieniem na produkcję, ze zdefiniowaną procedurą wycofania dla każdej zmiany

Efekt

Ciche odrzucenia dokumentów są teraz wychwytywane w ciągu kilku minut, zamiast ujawniać się po kilku dniach jako brakujące dane w dashboardach. Od czasu przeniesienia szablonów do systemu kontroli wersji rozjeżdżanie się stagingu i produkcji praktycznie ustało.

Technologie

ELK StackLogstashElasticsearchKibanaFilebeat

Potrzebują Państwo eksperckiego wsparcia ELK Stack?

Starsi inżynierowie ELK Stack w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.