Volver a todos los casos de uso

RemediaciónAdministración pública / Defensa

Corregir un pipeline de ingesta que se queda horas atrás sin avisar

Organismo del sector público

Corrección de un pipeline de ingesta de Splunk en el que las colas de los forwarders se atascaban y los eventos de seguridad llegaban con horas de retraso en los periodos punta.

Descripción general

Un organismo del sector público descubrió que, en los periodos de mucha actividad, los eventos de seguridad llegaban a sus índices de Splunk horas después de producirse. Las reglas de detección se disparaban tan tarde que no servían para nada. AceMQ corrigió la ruta de ingesta en los forwarders, las capas intermedias y los indexers.

Reto

Los universal forwarders se bloqueaban con las colas de salida llenas, lo que hacía que las entradas de monitorización de ficheros dejaran de leer y la acumulación creciera en disco. El verdadero cuello de botella era la capa intermedia de heavy forwarders: aplicaba en línea transformaciones con muchas expresiones regulares a cada evento y se saturaba de CPU mucho antes que los indexers. Como las métricas de las colas de los forwarders no se monitorizaban, el único síntoma visible eran los datos tardíos, que todo el mundo atribuía a los indexers.

Entorno

Splunk on-premises con universal forwarders en varios miles de hosts, una capa intermedia de heavy forwarders y un clúster de indexers.

Enfoque

Instrumentamos el pipeline etapa por etapa para encontrar dónde se encolaban realmente los eventos, en lugar de añadir capacidad a los indexers por suposición. Una vez identificada la capa de heavy forwarders como la restricción, trasladamos el costoso trabajo de parseo a donde corresponde y redujimos su volumen; después reequilibramos la topología de reenvío para que una sola ruta lenta no pueda atascar miles de orígenes.

Solución

  1. Recogida de métricas de ocupación de las colas en cada etapa del pipeline para localizar el verdadero cuello de botella en lugar de deducirlo
  2. Auditoría de las transformaciones en línea costosas, eliminando el trabajo con regex innecesario y trasladando el resto a la fase de indexación solo donde hace falta
  3. Redimensionamiento de la capa de heavy forwarders y activación de pipelines de ingesta en paralelo para aprovechar bien los núcleos disponibles
  4. Reequilibrio de los grupos de salida de los forwarders con ajuste de autoLB para que un indexer lento deje de bloquear los orígenes aguas arriba
  5. Configuración de colas persistentes en las entradas para que un bloqueo aguas abajo se absorba en buffer en lugar de detener la lectura
  6. Alertas de saturación de colas para que el retraso de ingesta se detecte mientras se forma y no cuando lo notifican los analistas

Resultado final

El retraso de ingesta en los periodos punta pasó de horas a casi tiempo real, y las reglas de detección se disparan ahora con datos actuales. Desde entonces, las alertas de colas han detectado dos acumulaciones en formación antes de que ninguna llegara a ser visible para los analistas.

Tecnologías

SplunkLinuxSyslogKubernetes

¿Se enfrenta a un problema de Splunk en producción?

Los ingenieros sénior de Splunk de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.