Visão geral
Um órgão do setor público descobriu que, nos períodos de maior movimento, os eventos de segurança chegavam aos índices do Splunk horas depois de ocorrerem. As regras de detecção disparavam tão tarde que se tornavam inúteis. A AceMQ corrigiu o caminho de ingestão nos forwarders, nas camadas intermediárias e nos indexers.
Desafio
Os universal forwarders ficavam bloqueados com as filas de saída cheias, o que fazia os inputs de monitoramento de arquivos pararem de ler e o backlog se acumular em disco. O verdadeiro gargalo era a camada intermediária de heavy forwarders: ela executava em linha, para cada evento, transformações carregadas de regex e esgotava a CPU muito antes dos indexers. Como as métricas de fila dos forwarders não eram monitoradas, o único sintoma visível eram os dados atrasados, e todos atribuíam o problema aos indexers.
Ambiente
Splunk on-premises com universal forwarders em vários milhares de hosts, uma camada intermediária de heavy forwarders e um cluster de indexers.
Abordagem
Instrumentamos o pipeline etapa por etapa para descobrir onde os eventos realmente ficavam enfileirados, em vez de adicionar capacidade aos indexers com base em suposições. Depois de identificar a camada de heavy forwarders como a restrição, transferimos o parsing caro para onde ele deve ficar e reduzimos seu volume; em seguida, rebalanceamos a topologia de encaminhamento para que um único caminho lento não consiga represar milhares de fontes.
Solução
- Coleta de métricas de ocupação das filas em todas as etapas do pipeline para localizar o verdadeiro gargalo, em vez de deduzi-lo
- Auditoria das transformações caras executadas em linha, com remoção do processamento de regex desnecessário e transferência do restante para o momento da indexação apenas onde necessário
- Redimensionamento da camada de heavy forwarders e ativação de pipelines de ingestão paralelos para aproveitar corretamente os núcleos disponíveis
- Rebalanceamento dos output groups dos forwarders com ajuste do autoLB, para que um único indexer lento deixe de travar as fontes upstream
- Configuração de persistent queues nos inputs, para que uma parada downstream seja absorvida em buffer em vez de bloquear a leitura
- Inclusão de alertas de saturação de filas, para que o atraso de ingestão seja detectado enquanto se forma, e não relatado pelos analistas
Resultado obtido
O atraso de ingestão nos períodos de pico caiu de horas para quase tempo real, e as regras de detecção agora disparam sobre dados atuais. Desde então, os alertas de fila já detectaram dois backlogs em formação antes que qualquer um deles ficasse visível para os analistas.