Przegląd
Klaster ELK dostawcy usług ubezpieczeniowych dwukrotnie w ciągu osiemnastu miesięcy wyczerpał przestrzeń dyskową bez wyraźnej przyczyny. AceMQ oceniło, co faktycznie jest indeksowane i jaka część tych danych jest komukolwiek potrzebna.
Wyzwanie
Domyślne dynamiczne mapowanie sprawiało, że każde pole w każdej linii logu JSON było zarówno indeksowane, jak i przechowywane — łącznie z dużymi zagnieżdżonymi strukturami, których nikt nigdy nie przeszukiwał. Kilka usług logowało pełne treści żądań i odpowiedzi na poziomie info. Retencja była jednakowa dla wszystkich indeksów niezależnie od ich wartości, więc logi aplikacyjne na poziomie debug przechowywano tak długo jak zapisy audytowe. Krzywa przyrostu danych nie miała związku ze wzrostem biznesu, ale nikt nie dysponował danymi na poziomie pól, które mogłyby to wyjaśnić.
Środowisko
Lokalny klaster ELK przyjmujący logi aplikacyjne, infrastrukturalne i audytowe z całej organizacji.
Podejście
Ocena mierzy zużycie przestrzeni na poziomie pól, a nie tylko indeksów, i zestawia je z wykorzystaniem w wyszukiwaniach i dashboardach. Takie połączenie dokładnie pokazuje, które pola kosztują najwięcej, a dają najmniej, dzięki czemu decyzja o retencji przestaje być sporem o politykę i opiera się na danych.
Rozwiązanie
- Przypisanie zużycia przestrzeni do pól dla każdego wzorca indeksów na podstawie analizy wykorzystania dysku, a nie tylko sum dla indeksów
- Zestawienie wykorzystania pól z zapisanymi wyszukiwaniami, dashboardami i historią zapytań w celu znalezienia pól indeksowanych, lecz nigdy nieprzeszukiwanych
- Przegląd działania dynamicznego mapowania dla każdego wzorca ze wskazaniem, gdzie należy je zastąpić jawnymi mapowaniami
- Wskazanie u źródła logowania dużych ładunków wraz z zaleceniami próbkowania lub obcinania treści żądań i odpowiedzi
- Propozycja poziomów retencji według klas danych, aby logi debug i zapisy audytowe przestały podlegać tej samej polityce retencji
- Prognostyczny model przestrzeni dyskowej pokazujący krzywą przyrostu przed zalecanymi zmianami i po nich
Efekt
Ocena wykazała, że duża część indeksowanych pól nigdy nie pojawiła się w żadnym zapytaniu. Dzięki jawnym mapowaniom i wielopoziomowej retencji prognozowany przyrost danych spłaszczył się na tyle, że można było zrezygnować z kolejnej planowanej rozbudowy.