Descripción general
Una compañía eléctrica sufría huecos intermitentes en los logs de toda su flota sin una causa evidente. El rastro de esos huecos llevaba, a través de Logstash, a unos pocos patrones de filtro que consumían la mayor parte de la CPU disponible.
Reto
Varios patrones grok se habían escrito con comodines iniciales y grupos opcionales anidados, lo que provocaba un backtracking catastrófico en las líneas de log que no tenían la forma esperada. Una sola línea malformada podía ocupar un hilo worker durante muchísimo tiempo. Con los workers ocupados, la cola persistente se llenaba, Logstash aplicaba back-pressure a las entradas de Beats y los agentes dejaban de enviar. Cuando por fin la cola se vaciaba, los agentes se reanudaban desde su registro, pero los ficheros que habían rotado entretanto ya no existían.
Entorno
ELK Stack on-premise con agentes Filebeat en una gran flota de servidores y una capa de Logstash que realiza el parseo y el enriquecimiento.
Enfoque
Perfilamos el pipeline de filtros para averiguar dónde se iba realmente el tiempo, en lugar de optimizar a ojo. Una vez identificados los patrones patológicos, los reescribimos con expresiones ancladas y con dissect allí donde el formato era fijo, y después hicimos el pipeline resiliente para que una sola línea errónea degrade un evento en lugar de bloquear toda la flota.
Solución
- Perfilado del pipeline filtro a filtro para identificar los patrones concretos que consumían un tiempo de CPU desproporcionado
- Reescritura de los patrones grok con backtracking catastrófico mediante anclajes, y sustitución por dissect donde el formato de log es fijo
- Configuración de timeouts y de tag-on-failure para que una línea no parseable se etiquete y siga adelante sin bloquear nunca un worker
- Ajuste del tamaño de la cola persistente y del número de workers según el throughput medido y no según los valores por defecto
- Ajuste del registro de Beats y de la rotación de ficheros para que un bloqueo por back-pressure no haga perder ficheros rotados
- Monitorización de la profundidad de la cola y de la duración de los filtros para que el back-pressure incipiente sea visible antes de que aparezcan huecos
Resultado final
Los huecos en los logs desaparecieron por completo y el throughput del pipeline se multiplicó varias veces con el mismo hardware una vez eliminados los patrones patológicos. Las alertas de profundidad de cola detectan ahora la presión mucho antes de que se bloqueen los agentes.