Descripción general
Un organismo del sector público descubrió que, en los periodos de mucha actividad, los eventos de seguridad llegaban a sus índices de Splunk horas después de producirse. Las reglas de detección se disparaban tan tarde que no servían para nada. AceMQ corrigió la ruta de ingesta en los forwarders, las capas intermedias y los indexers.
Reto
Los universal forwarders se bloqueaban con las colas de salida llenas, lo que hacía que las entradas de monitorización de ficheros dejaran de leer y la acumulación creciera en disco. El verdadero cuello de botella era la capa intermedia de heavy forwarders: aplicaba en línea transformaciones con muchas expresiones regulares a cada evento y se saturaba de CPU mucho antes que los indexers. Como las métricas de las colas de los forwarders no se monitorizaban, el único síntoma visible eran los datos tardíos, que todo el mundo atribuía a los indexers.
Entorno
Splunk on-premises con universal forwarders en varios miles de hosts, una capa intermedia de heavy forwarders y un clúster de indexers.
Enfoque
Instrumentamos el pipeline etapa por etapa para encontrar dónde se encolaban realmente los eventos, en lugar de añadir capacidad a los indexers por suposición. Una vez identificada la capa de heavy forwarders como la restricción, trasladamos el costoso trabajo de parseo a donde corresponde y redujimos su volumen; después reequilibramos la topología de reenvío para que una sola ruta lenta no pueda atascar miles de orígenes.
Solución
- Recogida de métricas de ocupación de las colas en cada etapa del pipeline para localizar el verdadero cuello de botella en lugar de deducirlo
- Auditoría de las transformaciones en línea costosas, eliminando el trabajo con regex innecesario y trasladando el resto a la fase de indexación solo donde hace falta
- Redimensionamiento de la capa de heavy forwarders y activación de pipelines de ingesta en paralelo para aprovechar bien los núcleos disponibles
- Reequilibrio de los grupos de salida de los forwarders con ajuste de autoLB para que un indexer lento deje de bloquear los orígenes aguas arriba
- Configuración de colas persistentes en las entradas para que un bloqueo aguas abajo se absorba en buffer en lugar de detener la lectura
- Alertas de saturación de colas para que el retraso de ingesta se detecte mientras se forma y no cuando lo notifican los analistas
Resultado final
El retraso de ingesta en los periodos punta pasó de horas a casi tiempo real, y las reglas de detección se disparan ahora con datos actuales. Desde entonces, las alertas de colas han detectado dos acumulaciones en formación antes de que ninguna llegara a ser visible para los analistas.