Powrót do wszystkich studiów przypadków

DoradztwoWiele branż

Mniejszy wolumen ingestu bez utraty danych, których ktokolwiek faktycznie potrzebuje

Globalny operator logistyczny

Doradztwo w zakresie zmniejszenia dziennego wolumenu ingestu Splunk dzięki filtrowaniu, routingowi i warstwom składowania, bez utraty pokrycia wymogów bezpieczeństwa i zgodności.

Przegląd

Operator logistyczny wielokrotnie przekraczał wolumen ingestu Splunk i stał przed kosztownym odnowieniem umowy. AceMQ przeanalizowało, skąd bierze się wolumen, i zaprojektowało strategię filtrowania i warstw składowania, która zachowała wszystkie wymagane mechanizmy detekcji i audytu.

Wyzwanie

Duża część dziennego ingestu pochodziła z kilku hałaśliwych źródeł: rozwlekłych logów dostępu do serwerów WWW, obejmujących żądania zasobów statycznych, wyjścia debug włączonego podczas dawnego incydentu i nigdy niewyłączonego oraz zduplikowanego zbierania, w którym dwa agenty przekazywały te same pliki. Żadna z tych danych nie była wykorzystywana przez regułę detekcji ani wymóg zgodności, ale nikt nie mógł tego udowodnić bez analizy i żaden zespół nie chciał być tym, który usunie log, który okaże się ważny.

Środowisko

Hybrydowe wdrożenie Splunk pobierające dane ze źródeł chmurowych i lokalnych, podlegające wymogom detekcji bezpieczeństwa i retencji audytowej.

Podejście

Zaczynamy od strony wymagań: każda reguła detekcji, dashboard i obowiązek zgodności zostaje przypisany do danych, od których zależy. Wszystko, czego ta mapa nie obejmuje, jest kandydatem do filtrowania. Dane o dużym wolumenie i sporadycznej wartości trafiają do taniego magazynu obiektowego, gdzie pozostają dostępne, zamiast zostać odrzucone. Filtrowanie odbywa się w warstwie forwarderów, więc wolumen jest redukowany, zanim zostanie policzony.

Rozwiązanie

  1. Przypisanie wolumenu ingestu do źródeł, sourcetype'ów i hostów w celu precyzyjnego uszeregowania największych kontrybutorów
  2. Przypisanie każdej reguły detekcji, zaplanowanego wyszukiwania i wymogu zgodności do danych, od których zależą
  3. Routing do null queue w warstwie forwarderów dla klas zdarzeń, o których wykazano, że nic z nich nie korzysta
  4. Ograniczenie rozwlekłych źródeł u podstaw — wyłączenie logowania debug, wykluczenie żądań zasobów statycznych, usunięcie zduplikowanego zbierania
  5. Kierowanie danych o dużym wolumenie i sporadycznej przydatności do magazynu obiektowego ze ścieżką ich pobrania na potrzeby dochodzeń
  6. Monitoring wolumenu i budżety dla poszczególnych źródeł, dzięki którym przyszła zmiana w logowaniu nie może po cichu pochłonąć zapasu

Efekt

Dzienny ingest spadł mniej więcej o jedną trzecią, a żadna reguła detekcji ani obowiązek zgodności nie stracił danych źródłowych, co istotnie zmieniło rozmowę o odnowieniu umowy. Budżety dla źródeł wychwyciły już zmianę w logowaniu debug, zanim wpłynęła na licencję.

Technologie

SplunkAmazon S3LinuxKafka

Potrzebują Państwo doradztwa w zakresie architektury Splunk?

Starsi inżynierowie Splunk w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.