Volver a todos los casos de uso

ConsultoríaSoftware / Plataformas digitales

Una arquitectura de ingesta en la que una detención aguas abajo es un retraso, no una pérdida de datos

Plataforma de comercio digital

Proyecto de consultoría para rediseñar una arquitectura de ingesta de ELK en torno a colas con buffer, pipelines de ingest node y la estandarización del esquema.

Descripción general

La ingesta de ELK de una plataforma de comercio era frágil: cualquier lentitud de Elasticsearch se propagaba hacia atrás hasta las aplicaciones que producían los logs. AceMQ diseñó una arquitectura con buffer que desacopla a los productores del clúster de búsqueda.

Desafío

Beats enviaba los datos directamente a una capa de Logstash que escribía de forma síncrona en Elasticsearch, de modo que cualquier lentitud en la indexación se convertía en contrapresión que llegaba hasta los productores de logs. Durante el mantenimiento del clúster, las únicas opciones eran aceptar la pérdida de datos o bloquear las aplicaciones. Además, cada equipo usaba su propia nomenclatura de campos, así que para correlacionar una solicitud entre servicios había que conocer tres nombres distintos para el mismo identificador, y la lógica de parsing para manejarlos todos vivía en una única configuración de Logstash cada vez más difícil de mantener.

Entorno

ELK en Kubernetes con ingesta desde decenas de servicios, y con crecimiento tanto del volumen de logs como de la cantidad de equipos que aportan datos.

Enfoque

Incorporamos un buffer durable entre la producción y la indexación para que ambas puedan fallar de forma independiente, trasladamos el parsing simple a los pipelines de ingesta de Elasticsearch, que es donde corresponde, y estandarizamos un esquema común para que la lógica de parsing por servicio prácticamente desaparezca. El diseño se planteó por etapas para que los equipos migren de forma gradual y no mediante un único corte.

Solución

  1. Incorporación de una cola de mensajes durable entre los shippers y la capa de indexación, para que el mantenimiento del clúster cause retrasos y no pérdidas
  2. Traslado del parsing y el enriquecimiento simples a los pipelines de ingesta de Elasticsearch, dejando Logstash solo donde se necesitan sus capacidades
  3. Adopción de un esquema común para los campos compartidos, de modo que correlacionar entre servicios ya no exija conocer los campos de cada equipo
  4. División de las definiciones de pipelines por servicio en unidades con responsable propio y desplegables de forma independiente, en lugar de una configuración monolítica
  5. Definición del manejo de dead letters para que los eventos que no se pueden parsear se capturen para su revisión en lugar de descartarse o bloquear el flujo
  6. Plan de migración por etapas que permite a los equipos avanzar servicio por servicio, con operación en doble ruta durante la transición

Resultado final

El mantenimiento de Elasticsearch ya no afecta a los productores de logs: el buffer absorbe la ventana y se vacía después. Sumar un nuevo servicio al pipeline pasó de ser un cambio en la configuración compartida a un despliegue independiente con responsable propio.

Tecnologías

ELK StackLogstashKafkaElasticsearchKubernetes

¿Necesita orientación de arquitectura para ELK Stack?

Los ingenieros sénior de ELK Stack de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.