Volver a todos los casos de uso

RemediaciónEnergía / Servicios públicos

Del rastro de líneas de log perdidas hasta el patrón grok que provocaba el back-pressure

Operador de una compañía eléctrica

Corrección de un pipeline ELK en el que el back-pressure de Logstash bloqueaba los agentes Beats y dejaba huecos en los logs de toda la flota.

Descripción general

Una compañía eléctrica sufría huecos intermitentes en los logs de toda su flota sin una causa evidente. El rastro de esos huecos llevaba, a través de Logstash, a unos pocos patrones de filtro que consumían la mayor parte de la CPU disponible.

Reto

Varios patrones grok se habían escrito con comodines iniciales y grupos opcionales anidados, lo que provocaba un backtracking catastrófico en las líneas de log que no tenían la forma esperada. Una sola línea malformada podía ocupar un hilo worker durante muchísimo tiempo. Con los workers ocupados, la cola persistente se llenaba, Logstash aplicaba back-pressure a las entradas de Beats y los agentes dejaban de enviar. Cuando por fin la cola se vaciaba, los agentes se reanudaban desde su registro, pero los ficheros que habían rotado entretanto ya no existían.

Entorno

ELK Stack on-premise con agentes Filebeat en una gran flota de servidores y una capa de Logstash que realiza el parseo y el enriquecimiento.

Enfoque

Perfilamos el pipeline de filtros para averiguar dónde se iba realmente el tiempo, en lugar de optimizar a ojo. Una vez identificados los patrones patológicos, los reescribimos con expresiones ancladas y con dissect allí donde el formato era fijo, y después hicimos el pipeline resiliente para que una sola línea errónea degrade un evento en lugar de bloquear toda la flota.

Solución

  1. Perfilado del pipeline filtro a filtro para identificar los patrones concretos que consumían un tiempo de CPU desproporcionado
  2. Reescritura de los patrones grok con backtracking catastrófico mediante anclajes, y sustitución por dissect donde el formato de log es fijo
  3. Configuración de timeouts y de tag-on-failure para que una línea no parseable se etiquete y siga adelante sin bloquear nunca un worker
  4. Ajuste del tamaño de la cola persistente y del número de workers según el throughput medido y no según los valores por defecto
  5. Ajuste del registro de Beats y de la rotación de ficheros para que un bloqueo por back-pressure no haga perder ficheros rotados
  6. Monitorización de la profundidad de la cola y de la duración de los filtros para que el back-pressure incipiente sea visible antes de que aparezcan huecos

Resultado final

Los huecos en los logs desaparecieron por completo y el throughput del pipeline se multiplicó varias veces con el mismo hardware una vez eliminados los patrones patológicos. Las alertas de profundidad de cola detectan ahora la presión mucho antes de que se bloqueen los agentes.

Tecnologías

ELK StackLogstashElasticsearchFilebeat

¿Se enfrenta a un problema de ELK Stack en producción?

Los ingenieros sénior de ELK Stack de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.