Visão geral
Os search heads do Splunk de um grupo de serviços financeiros estavam saturados: as buscas agendadas eram puladas com frequência, e os analistas que conduziam investigações viam as suas buscas presas na fila atrás de jobs de relatórios. A AceMQ presta suporte contínuo para ajustar a carga de buscas.
Desafio
Centenas de buscas agendadas haviam sido criadas ao longo dos anos, a maioria configurada para rodar a cada cinco minutos sobre uma janela de vinte e quatro horas, houvesse necessidade ou não. Os limites de concorrência eram atingidos o tempo todo, e o scheduler pulava buscas, incluindo várias que alimentavam relatórios de compliance, o que passava despercebido porque buscas puladas não geram nenhum alerta por padrão. Muitas das buscas mais pesadas usavam varreduras de eventos brutos onde uma aceleração de data model ou um summary index teria funcionado melhor.
Ambiente
Search head cluster do Splunk on-premises atendendo às equipes de operações de segurança, relatórios de compliance e analytics de negócio.
Abordagem
Aqui, o suporte é um ajuste contínuo, e não uma correção pontual, porque a carga de buscas volta a crescer. Acompanhamos as taxas de buscas puladas e o custo das buscas por responsável, reescrevemos as buscas caras, distribuímos o agendamento para que nem tudo dispare no mesmo limite de intervalo e reservamos concorrência para que um analista investigando um incidente nunca fique na fila atrás de um relatório.
Solução
- Suporte 24/7 com metas de resposta a partir de 15 minutos, conforme o plano e engenheiros sêniores designados que conhecem o conjunto de buscas e os seus responsáveis
- Alertas de buscas puladas configurados para que lacunas nos relatórios de compliance apareçam imediatamente, e não em silêncio
- Perfil de custo das buscas por responsável e por app, classificando as buscas pelo consumo de recursos, e não pelo volume de reclamações
- Reescrita das buscas pesadas com varredura de eventos brutos para usar data models acelerados ou summary indexes quando o formato da consulta permite
- Janelas de agendamento e escalonamento dos crons aplicados para que as buscas deixem de se concentrar no mesmo limite de intervalo
- Regras de workload management que reservam concorrência para investigações ad hoc, separada dos relatórios agendados
Resultado obtido
As buscas puladas caíram para uma taxa insignificante e a lacuna nos relatórios de compliance foi eliminada. Os analistas que conduzem investigações agora têm as suas buscas executadas imediatamente, em vez de esperar atrás de jobs de relatórios.