Przegląd
Operator telekomunikacyjny zgromadził setki indeksów i znacznie więcej sourcetype'ów, z których wiele było niemal duplikatami. Wyszukiwania działały wolno, retencja była niespójna, a kontroli dostępu nie dało się logicznie ogarnąć. AceMQ oceniło architekturę i przygotowało projekt konsolidacji.
Wyzwanie
Każde nowe źródło danych domyślnie otrzymywało własny indeks, więc retencję, kontrolę dostępu i warstwy pamięci masowej trzeba było konfigurować setki razy — i często tego nie robiono. Sourcetype'y przypisywano automatycznie, co dało wiele wariantów tego samego formatu logów z różnymi ekstrakcjami pól, więc wyszukiwanie w ramach jednego logicznego typu danych wymagało ręcznego wyliczenia wszystkich wariantów. Analitycy często pomijali dane, bo nie wiedzieli o istnieniu danego wariantu.
Środowisko
Lokalny klaster indekserów Splunk z setkami indeksów obejmujących dane sieciowe, bezpieczeństwa i aplikacyjne.
Podejście
Ocena grupuje indeksy i sourcetype'y według ich rzeczywistych wymagań w zakresie kontroli dostępu i retencji, a nie według systemu źródłowego — bo to właśnie te wymagania powinny wyznaczać granice indeksów. Mierzymy wzorce wyszukiwania, aby potwierdzić, że grupowanie odpowiada temu, jak ludzie faktycznie odpytują dane, a następnie projektujemy skonsolidowany układ ze ścieżką migracji, która nie psuje istniejących zapisanych wyszukiwań.
Rozwiązanie
- Pełna inwentaryzacja indeksów i sourcetype'ów z wolumenem, ustawieniem retencji i konfiguracją kontroli dostępu dla każdej pozycji
- Pogrupowanie wariantów sourcetype'ów według faktycznego formatu logów w celu wskazania duplikatów, które należy połączyć w jeden
- Analiza wzorców wyszukiwania w celu potwierdzenia, że proponowane granice indeksów odpowiadają temu, jak analitycy faktycznie odpytują dane
- Skonsolidowany projekt indeksów oparty na wymaganiach retencji i kontroli dostępu, a nie na tożsamości systemu źródłowego
- Standaryzacja ekstrakcji pól dla każdego skonsolidowanego sourcetype'u, dzięki której jedno wyszukiwanie obejmuje to, co wcześniej wymagało wielu
- Plan migracji zachowujący istniejące zapisane wyszukiwania dzięki makrom i aliasom, tak aby żaden dashboard nie przestał działać po przełączeniu
Efekt
Liczba indeksów spadła do łatwego w zarządzaniu zestawu, a retencję i kontrolę dostępu definiuje się raz dla każdej warstwy, a nie dla każdego źródła. Wyszukiwania, które wcześniej wymagały wyliczania wariantów sourcetype'ów, działają teraz na jednym skonsolidowanym typie, a analitycy przestali pomijać dane, o których istnieniu nie wiedzieli.