Descripción general
La ingesta ELK de una plataforma de comercio era frágil: cualquier ralentización de Elasticsearch se propagaba hasta las aplicaciones que generaban los logs. AceMQ diseñó una arquitectura con buffer que desacopla a los productores del clúster de búsqueda.
Reto
Beats enviaba directamente a una capa de Logstash que escribía de forma síncrona en Elasticsearch, así que cualquier ralentización de la indexación se convertía en back-pressure que llegaba hasta los productores de logs. Durante el mantenimiento del clúster, las únicas opciones eran aceptar la pérdida de datos o bloquear las aplicaciones. Además, cada equipo tenía su propia nomenclatura de campos, de modo que correlacionar una petición entre servicios exigía conocer tres nombres distintos para el mismo identificador, y la lógica de parseo para tratarlos todos vivía en una única configuración de Logstash cada vez más difícil de mantener.
Entorno
ELK en Kubernetes con ingesta desde decenas de servicios y crecimiento tanto del volumen de logs como del número de equipos que contribuyen.
Enfoque
Introdujimos un buffer duradero entre la producción y la indexación para que ambas puedan fallar de forma independiente, trasladamos el parseo sencillo a los ingest pipelines de Elasticsearch, que es donde debe estar, y estandarizamos un esquema común para que la lógica de parseo por servicio desaparezca en gran medida. El diseño se planteó por etapas para que los equipos migren de forma incremental y no en un único corte.
Solución
- Cola de mensajes duradera entre los shippers y la capa de indexación, de modo que el mantenimiento del clúster cause retraso y no pérdida
- Parseo y enriquecimiento sencillos trasladados a los ingest pipelines de Elasticsearch, dejando Logstash solo donde se necesitan sus capacidades
- Esquema común adoptado para los campos compartidos, de modo que correlacionar entre servicios deje de exigir conocer los campos de cada equipo
- Definiciones de pipeline por servicio divididas en unidades con responsable y desplegables de forma independiente, en lugar de una configuración monolítica
- Tratamiento de dead letters definido para que los eventos que no se pueden parsear se capturen para su revisión en lugar de descartarse o bloquear
- Plan de migración por etapas que permite a los equipos avanzar servicio a servicio con funcionamiento en doble ruta durante la transición
Resultado final
El mantenimiento de Elasticsearch ya no afecta a los productores de logs: el buffer absorbe la ventana y se vacía después. Añadir un servicio nuevo al pipeline ha pasado de ser un cambio en una configuración compartida a un despliegue independiente con su propio responsable.