Przegląd
Dostawca usług logistycznych używał ELK w lokalizacjach chmurowych i on-premises bez dedykowanego właściciela platformy. Problemy z pobieraniem danych zwykle wychodziły na jaw kilka dni później jako brakujące dane w dashboardach. AceMQ zapewnia stałe wsparcie całej ścieżki pobierania danych.
Wyzwanie
Awarie występowały w różnych warstwach, a nikt nie odpowiadał za cały łańcuch. Konflikty mapowań po cichu odrzucały dokumenty, gdy dwie usługi używały tej samej nazwy pola z różnymi typami – dane po prostu nigdy nie docierały, a dla odrzuceń nie istniał żaden alert. Szablony indeksów rozjeżdżały się między środowiskami, więc potok zweryfikowany na stagingu zachowywał się inaczej na produkcji. Agenty Beats na starszych hostach działały w wersjach, które wypadły poza obsługiwany zakres zgodności z klastrem.
Środowisko
Hybrydowe wdrożenie ELK z agentami Beats w lokalizacjach chmurowych i on-premises, z konfiguracją potoków współtworzoną przez wiele zespołów.
Podejście
Wsparcie obejmuje cały potok od początku do końca, bo to tam występują awarie. Ustawiamy alerty na odrzucenia dokumentów, aby cicha utrata danych stała się widoczna, utrzymujemy szablony indeksów i definicje potoków w systemie kontroli wersji z zachowaniem zgodności między środowiskami, a zgodnością wersji Beats zarządzamy jako zaplanowaną czynnością, a nie w trybie awaryjnym.
Rozwiązanie
- Wsparcie 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i przypisanymi starszymi inżynierami obejmującymi całą ścieżkę pobierania danych
- Alerty o odrzuceniach dokumentów i konfliktach mapowań, dzięki którym po cichu utracone dane są widoczne natychmiast
- Ujednolicone szablony indeksów i szablony komponentów z konwencją nazewnictwa pól, która zapobiega konfliktom typów
- Definicje potoków i szablonów w systemie kontroli wersji z wymuszoną zgodnością między stagingiem a produkcją
- Inwentaryzacja wersji agentów Beats i zaplanowany rytm aktualizacji, który utrzymuje całą flotę w obsługiwanym zakresie
- Przegląd zmian w potokach przed ich trafieniem na produkcję, ze zdefiniowaną procedurą wycofania dla każdej zmiany
Efekt
Ciche odrzucenia dokumentów są teraz wychwytywane w ciągu kilku minut, zamiast ujawniać się po kilku dniach jako brakujące dane w dashboardach. Od czasu przeniesienia szablonów do systemu kontroli wersji rozjeżdżanie się stagingu i produkcji praktycznie ustało.