Descripción general
Una empresa de servicios de energía tenía huecos intermitentes en los logs de toda su flota sin una causa evidente. El rastreo de esos huecos a través de Logstash llevó a un puñado de patrones de filtro que consumían la mayor parte de la CPU disponible.
Desafío
Varios patrones grok se habían escrito con comodines al inicio y grupos opcionales anidados, lo que provocaba un backtracking catastrófico en las líneas de log que no tenían la forma esperada. Una sola línea mal formada podía ocupar un worker thread durante muchísimo tiempo. Con los workers ocupados, la cola persistente se llenaba, Logstash aplicaba back-pressure a los inputs de Beats y los agentes dejaban de enviar. Cuando la cola por fin se vaciaba, los agentes retomaban desde su registry, pero los archivos que habían rotado mientras tanto ya no estaban.
Entorno
ELK Stack on-premise con agentes Filebeat en una gran flota de servidores y un nivel de Logstash a cargo del parseo y el enriquecimiento.
Enfoque
Perfilamos el pipeline de filtros para encontrar dónde se iba realmente el tiempo, en lugar de optimizar a simple vista. Una vez identificados los patrones patológicos, los reescribimos con expresiones ancladas y con dissect donde el formato era fijo, y luego hicimos el pipeline resiliente para que una sola línea defectuosa degrade un evento en lugar de detener toda la flota.
Solución
- Perfilado del pipeline por filtro para identificar los patrones específicos que consumían una cantidad desproporcionada de CPU
- Patrones grok con backtracking catastrófico reescritos con anclaje, y reemplazo por dissect donde el formato de log es fijo
- Configuración de timeouts y de tag-on-failure para que una línea que no se puede parsear se etiquete y siga de largo, sin bloquear nunca un worker
- Dimensionamiento de la cola persistente y cantidad de workers ajustados al throughput medido y no a los valores predeterminados
- Ajuste del registry de Beats y de la configuración de rotación de archivos para que una detención por back-pressure no haga perder archivos rotados
- Monitoreo de la profundidad de la cola y de la duración de los filtros para que el back-pressure en formación sea visible antes de que aparezcan huecos
Resultado final
Los huecos en los logs desaparecieron por completo y, una vez eliminados los patrones patológicos, el throughput del pipeline se multiplicó varias veces en el mismo hardware. Las alertas de profundidad de la cola ahora revelan la presión mucho antes de que se detengan los agentes.