Volver a todos los casos de uso

ConsultoríaSoftware / Plataformas digitales

Una arquitectura de ingesta en la que un bloqueo aguas abajo es un retraso y no una pérdida de datos

Plataforma de comercio digital

Proyecto de consultoría para rediseñar una arquitectura de ingesta ELK en torno a colas con buffer, pipelines de ingest node y la estandarización del esquema.

Descripción general

La ingesta ELK de una plataforma de comercio era frágil: cualquier ralentización de Elasticsearch se propagaba hasta las aplicaciones que generaban los logs. AceMQ diseñó una arquitectura con buffer que desacopla a los productores del clúster de búsqueda.

Reto

Beats enviaba directamente a una capa de Logstash que escribía de forma síncrona en Elasticsearch, así que cualquier ralentización de la indexación se convertía en back-pressure que llegaba hasta los productores de logs. Durante el mantenimiento del clúster, las únicas opciones eran aceptar la pérdida de datos o bloquear las aplicaciones. Además, cada equipo tenía su propia nomenclatura de campos, de modo que correlacionar una petición entre servicios exigía conocer tres nombres distintos para el mismo identificador, y la lógica de parseo para tratarlos todos vivía en una única configuración de Logstash cada vez más difícil de mantener.

Entorno

ELK en Kubernetes con ingesta desde decenas de servicios y crecimiento tanto del volumen de logs como del número de equipos que contribuyen.

Enfoque

Introdujimos un buffer duradero entre la producción y la indexación para que ambas puedan fallar de forma independiente, trasladamos el parseo sencillo a los ingest pipelines de Elasticsearch, que es donde debe estar, y estandarizamos un esquema común para que la lógica de parseo por servicio desaparezca en gran medida. El diseño se planteó por etapas para que los equipos migren de forma incremental y no en un único corte.

Solución

  1. Cola de mensajes duradera entre los shippers y la capa de indexación, de modo que el mantenimiento del clúster cause retraso y no pérdida
  2. Parseo y enriquecimiento sencillos trasladados a los ingest pipelines de Elasticsearch, dejando Logstash solo donde se necesitan sus capacidades
  3. Esquema común adoptado para los campos compartidos, de modo que correlacionar entre servicios deje de exigir conocer los campos de cada equipo
  4. Definiciones de pipeline por servicio divididas en unidades con responsable y desplegables de forma independiente, en lugar de una configuración monolítica
  5. Tratamiento de dead letters definido para que los eventos que no se pueden parsear se capturen para su revisión en lugar de descartarse o bloquear
  6. Plan de migración por etapas que permite a los equipos avanzar servicio a servicio con funcionamiento en doble ruta durante la transición

Resultado final

El mantenimiento de Elasticsearch ya no afecta a los productores de logs: el buffer absorbe la ventana y se vacía después. Añadir un servicio nuevo al pipeline ha pasado de ser un cambio en una configuración compartida a un despliegue independiente con su propio responsable.

Tecnologías

ELK StackLogstashKafkaElasticsearchKubernetes

¿Necesita asesoramiento de arquitectura para ELK Stack?

Los ingenieros sénior de ELK Stack de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.