Powrót do wszystkich studiów przypadków

Ocena środowiskaTelekomunikacja

Projekt indeksów decyduje o szybkości wyszukiwania i koszcie retencji, zanim ktokolwiek napisze zapytanie

Operator telekomunikacyjny

Ocena projektu indeksów i sourcetype'ów, który rozrastał się żywiołowo, powodując słabą wydajność wyszukiwania i niemożliwe do opanowania reguły retencji.

Przegląd

Operator telekomunikacyjny zgromadził setki indeksów i znacznie więcej sourcetype'ów, z których wiele było niemal duplikatami. Wyszukiwania działały wolno, retencja była niespójna, a kontroli dostępu nie dało się logicznie ogarnąć. AceMQ oceniło architekturę i przygotowało projekt konsolidacji.

Wyzwanie

Każde nowe źródło danych domyślnie otrzymywało własny indeks, więc retencję, kontrolę dostępu i warstwy pamięci masowej trzeba było konfigurować setki razy — i często tego nie robiono. Sourcetype'y przypisywano automatycznie, co dało wiele wariantów tego samego formatu logów z różnymi ekstrakcjami pól, więc wyszukiwanie w ramach jednego logicznego typu danych wymagało ręcznego wyliczenia wszystkich wariantów. Analitycy często pomijali dane, bo nie wiedzieli o istnieniu danego wariantu.

Środowisko

Lokalny klaster indekserów Splunk z setkami indeksów obejmujących dane sieciowe, bezpieczeństwa i aplikacyjne.

Podejście

Ocena grupuje indeksy i sourcetype'y według ich rzeczywistych wymagań w zakresie kontroli dostępu i retencji, a nie według systemu źródłowego — bo to właśnie te wymagania powinny wyznaczać granice indeksów. Mierzymy wzorce wyszukiwania, aby potwierdzić, że grupowanie odpowiada temu, jak ludzie faktycznie odpytują dane, a następnie projektujemy skonsolidowany układ ze ścieżką migracji, która nie psuje istniejących zapisanych wyszukiwań.

Rozwiązanie

  1. Pełna inwentaryzacja indeksów i sourcetype'ów z wolumenem, ustawieniem retencji i konfiguracją kontroli dostępu dla każdej pozycji
  2. Pogrupowanie wariantów sourcetype'ów według faktycznego formatu logów w celu wskazania duplikatów, które należy połączyć w jeden
  3. Analiza wzorców wyszukiwania w celu potwierdzenia, że proponowane granice indeksów odpowiadają temu, jak analitycy faktycznie odpytują dane
  4. Skonsolidowany projekt indeksów oparty na wymaganiach retencji i kontroli dostępu, a nie na tożsamości systemu źródłowego
  5. Standaryzacja ekstrakcji pól dla każdego skonsolidowanego sourcetype'u, dzięki której jedno wyszukiwanie obejmuje to, co wcześniej wymagało wielu
  6. Plan migracji zachowujący istniejące zapisane wyszukiwania dzięki makrom i aliasom, tak aby żaden dashboard nie przestał działać po przełączeniu

Efekt

Liczba indeksów spadła do łatwego w zarządzaniu zestawu, a retencję i kontrolę dostępu definiuje się raz dla każdej warstwy, a nie dla każdego źródła. Wyszukiwania, które wcześniej wymagały wyliczania wariantów sourcetype'ów, działają teraz na jednym skonsolidowanym typie, a analitycy przestali pomijać dane, o których istnieniu nie wiedzieli.

Technologie

SplunkLinuxSyslog

Czas na przegląd Health Check Splunk?

Starsi inżynierowie Splunk w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.