Descripción general
La ingesta de ELK de una plataforma de comercio era frágil: cualquier lentitud de Elasticsearch se propagaba hacia atrás hasta las aplicaciones que producían los logs. AceMQ diseñó una arquitectura con buffer que desacopla a los productores del clúster de búsqueda.
Desafío
Beats enviaba los datos directamente a una capa de Logstash que escribía de forma síncrona en Elasticsearch, de modo que cualquier lentitud en la indexación se convertía en contrapresión que llegaba hasta los productores de logs. Durante el mantenimiento del clúster, las únicas opciones eran aceptar la pérdida de datos o bloquear las aplicaciones. Además, cada equipo usaba su propia nomenclatura de campos, así que para correlacionar una solicitud entre servicios había que conocer tres nombres distintos para el mismo identificador, y la lógica de parsing para manejarlos todos vivía en una única configuración de Logstash cada vez más difícil de mantener.
Entorno
ELK en Kubernetes con ingesta desde decenas de servicios, y con crecimiento tanto del volumen de logs como de la cantidad de equipos que aportan datos.
Enfoque
Incorporamos un buffer durable entre la producción y la indexación para que ambas puedan fallar de forma independiente, trasladamos el parsing simple a los pipelines de ingesta de Elasticsearch, que es donde corresponde, y estandarizamos un esquema común para que la lógica de parsing por servicio prácticamente desaparezca. El diseño se planteó por etapas para que los equipos migren de forma gradual y no mediante un único corte.
Solución
- Incorporación de una cola de mensajes durable entre los shippers y la capa de indexación, para que el mantenimiento del clúster cause retrasos y no pérdidas
- Traslado del parsing y el enriquecimiento simples a los pipelines de ingesta de Elasticsearch, dejando Logstash solo donde se necesitan sus capacidades
- Adopción de un esquema común para los campos compartidos, de modo que correlacionar entre servicios ya no exija conocer los campos de cada equipo
- División de las definiciones de pipelines por servicio en unidades con responsable propio y desplegables de forma independiente, en lugar de una configuración monolítica
- Definición del manejo de dead letters para que los eventos que no se pueden parsear se capturen para su revisión en lugar de descartarse o bloquear el flujo
- Plan de migración por etapas que permite a los equipos avanzar servicio por servicio, con operación en doble ruta durante la transición
Resultado final
El mantenimiento de Elasticsearch ya no afecta a los productores de logs: el buffer absorbe la ventana y se vacía después. Sumar un nuevo servicio al pipeline pasó de ser un cambio en la configuración compartida a un despliegue independiente con responsable propio.