Volver a todos los casos de uso

EvaluaciónMultisectorial

Descubrir qué campos está indexando que nadie busca nunca

Proveedor de servicios de seguros

Evaluación del volumen de logs, la utilidad de cada campo y la retención en un entorno de ELK cuyo crecimiento de almacenamiento había superado cualquier planificación.

Descripción general

El clúster de ELK de un proveedor de servicios de seguros se había quedado sin almacenamiento dos veces en dieciocho meses sin un motivo claro. AceMQ evaluó qué se estaba indexando realmente y cuánto de eso usaba alguien.

Desafío

Con el dynamic mapping predeterminado, cada campo de cada línea de log en JSON se indexaba y se almacenaba, incluidas grandes estructuras anidadas que nadie había buscado jamás. Varios servicios registraban los cuerpos completos de solicitudes y respuestas en nivel info. La retención era la misma para todos los índices, sin importar su valor, así que los logs de aplicación de nivel debug se conservaban tanto tiempo como los registros de auditoría. La curva de crecimiento del almacenamiento no tenía relación con el crecimiento del negocio, pero nadie tenía datos por campo para explicarla.

Entorno

Clúster de ELK on-premises que ingiere logs de aplicaciones, de infraestructura y de auditoría de toda la empresa.

Enfoque

La evaluación mide el consumo de almacenamiento a nivel de campo, no solo de índice, y lo cruza con el uso en búsquedas y dashboards. Esa combinación muestra con precisión qué campos cuestan más y aportan menos, lo que convierte la retención en una decisión basada en evidencia y no en una discusión de políticas.

Solución

  1. Atribución del almacenamiento a nivel de campo por index pattern mediante análisis de uso de disco, y no solo con los totales por índice
  2. Cruce del uso de los campos con las búsquedas guardadas, los dashboards y el historial de consultas para encontrar los campos indexados que nunca se buscan
  3. Revisión del comportamiento del dynamic mapping por patrón, identificando dónde debería reemplazarse por mappings explícitos
  4. Identificación en el origen del registro de payloads grandes, con recomendaciones para muestrear o truncar los cuerpos de solicitudes y respuestas
  5. Propuesta de niveles de retención por clase de datos para que los logs de debug y los registros de auditoría dejen de compartir la misma política de retención
  6. Modelo de almacenamiento proyectado que muestra la curva de crecimiento antes y después de los cambios recomendados

Resultado final

La evaluación mostró que una gran parte de los campos indexados nunca había aparecido en ninguna consulta. Con mappings explícitos y retención por niveles, el crecimiento proyectado del almacenamiento se aplanó lo suficiente como para cancelar la siguiente ampliación planificada.

Tecnologías

ELK StackElasticsearchKibanaLogstash

¿Listo para un health check de ELK Stack?

Los ingenieros sénior de ELK Stack de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.