Przegląd
Agencja sektora publicznego zauważyła, że w okresach wzmożonego ruchu zdarzenia bezpieczeństwa trafiały do indeksów Splunk kilka godzin po fakcie. Reguły detekcji uruchamiały się na tyle późno, że były bezużyteczne. AceMQ naprawiło ścieżkę ingestii obejmującą forwardery, warstwy pośrednie i indeksery.
Wyzwanie
Universal forwardery blokowały się na pełnych kolejkach wyjściowych, przez co wejścia monitorujące pliki przestawały czytać, a zaległości narastały na dysku. Faktycznym wąskim gardłem była pośrednia warstwa heavy forwarderów: wykonywała inline intensywne transformacje oparte na wyrażeniach regularnych dla każdego zdarzenia i osiągała limit CPU na długo przed indekserami. Ponieważ metryki kolejek forwarderów nie były monitorowane, jedynym widocznym objawem były opóźnione dane, za które wszyscy obwiniali indeksery.
Środowisko
Lokalny Splunk z universal forwarderami na kilku tysiącach hostów, pośrednią warstwą heavy forwarderów i klastrem indekserów.
Podejście
Zainstrumentowaliśmy potok etap po etapie, aby znaleźć miejsce, w którym zdarzenia faktycznie czekają w kolejce, zamiast na podstawie założeń dodawać pojemność indekserów. Po wskazaniu warstwy heavy forwarderów jako ograniczenia przenieśliśmy kosztowne parsowanie tam, gdzie powinno się odbywać, i zmniejszyliśmy jego wolumen, a następnie zrównoważyliśmy topologię przekazywania, tak aby jedna wolna ścieżka nie mogła zablokować tysięcy źródeł.
Rozwiązanie
- Zbieranie metryk zapełnienia kolejek na każdym etapie potoku w celu zlokalizowania prawdziwego wąskiego gardła zamiast jego domniemywania
- Audyt kosztownych transformacji inline, usunięcie zbędnych operacji regex i przeniesienie pozostałych do etapu indeksowania tylko tam, gdzie jest to konieczne
- Zmiana rozmiaru warstwy heavy forwarderów i włączenie równoległych potoków ingestii w celu właściwego wykorzystania dostępnych rdzeni
- Zrównoważenie grup wyjściowych forwarderów i dostrojenie autoLB, aby pojedynczy wolny indekser przestał blokować źródła upstream
- Konfiguracja trwałych kolejek na wejściach, aby zator downstream był buforowany, zamiast blokować odczyt
- Dodanie alertów nasycenia kolejek, aby opóźnienie ingestii było wykrywane w trakcie narastania, a nie zgłaszane przez analityków
Efekt
Opóźnienie ingestii w okresach szczytu spadło z kilku godzin do poziomu bliskiego czasowi rzeczywistemu, a reguły detekcji działają teraz na bieżących danych. Alerty kolejek wychwyciły od tego czasu dwie narastające zaległości, zanim którakolwiek z nich stała się widoczna dla analityków.