Descripción general
Una agencia del sector público descubrió que, en los períodos de mayor actividad, los eventos de seguridad llegaban a sus índices de Splunk horas después de ocurrir. Las reglas de detección se disparaban tan tarde que resultaban inútiles. AceMQ corrigió la ruta de ingesta en los forwarders, los niveles intermedios y los indexers.
Desafío
Los universal forwarders se bloqueaban con las colas de salida llenas, lo que hacía que los inputs de monitoreo de archivos dejaran de leer y que el backlog se acumulara en disco. El nivel intermedio de heavy forwarders era el verdadero cuello de botella: aplicaba transformaciones con muchas regex en línea a cada evento y llegaba al límite de CPU mucho antes que los indexers. Como las métricas de las colas de los forwarders no se monitoreaban, el único síntoma visible eran los datos tardíos, que todos atribuían a los indexers.
Entorno
Splunk on-premises con universal forwarders en varios miles de hosts, un nivel intermedio de heavy forwarders y un clúster de indexers.
Enfoque
Instrumentamos el pipeline etapa por etapa para encontrar dónde se encolaban realmente los eventos, en lugar de agregar capacidad de indexers por suposición. Una vez identificado el nivel de heavy forwarders como la restricción, trasladamos el costoso trabajo de parsing a donde corresponde y redujimos su volumen; luego rebalanceamos la topología de forwarding para que una sola ruta lenta no pueda frenar miles de fuentes.
Solución
- Métricas de llenado de colas recopiladas en cada etapa del pipeline para ubicar el verdadero cuello de botella en lugar de inferirlo
- Auditoría de las transformaciones costosas en línea, con eliminación del trabajo de regex innecesario y traslado del resto a index time solo donde hace falta
- Redimensionamiento del nivel de heavy forwarders y habilitación de pipelines de ingesta en paralelo para aprovechar correctamente los núcleos disponibles
- Rebalanceo de los output groups de los forwarders con ajuste de autoLB, para que un solo indexer lento deje de frenar las fuentes upstream
- Persistent queues configuradas en los inputs, para que una detención aguas abajo se almacene en buffer en lugar de bloquear la lectura
- Alertas de saturación de colas para detectar el retraso de ingesta mientras se forma, en lugar de enterarse por los analistas
Resultado final
El retraso de ingesta en los períodos pico pasó de horas a casi tiempo real, y las reglas de detección ahora se disparan sobre datos actuales. Desde entonces, las alertas de colas detectaron dos backlogs en formación antes de que los analistas llegaran a notarlos.