Volver a todos los casos de uso

EvaluaciónMultisectorial

Descubrir qué campos está indexando que nadie busca nunca

Proveedor de servicios de seguros

Evaluación del volumen de logs, la utilidad de cada campo y la retención en un entorno ELK en el que el crecimiento del almacenamiento había superado cualquier planificación.

Descripción general

El clúster ELK de un proveedor de servicios de seguros se había quedado sin almacenamiento dos veces en dieciocho meses sin un motivo claro. AceMQ evaluó qué se estaba indexando realmente y cuánto de ello utilizaba alguien.

Reto

El dynamic mapping por defecto hacía que todos los campos de cada línea de log JSON se indexaran y almacenaran, incluidas grandes estructuras anidadas en las que nadie había buscado jamás. Varios servicios registraban en nivel info los cuerpos completos de peticiones y respuestas. La retención era la misma para todos los índices con independencia de su valor, de modo que los logs de aplicación de nivel debug se conservaban tanto tiempo como los registros de auditoría. La curva de crecimiento del almacenamiento no guardaba relación con el crecimiento del negocio, pero nadie tenía los datos por campo para explicarlo.

Entorno

Clúster ELK on-premises que ingiere logs de aplicaciones, de infraestructura y de auditoría de toda la empresa.

Enfoque

La evaluación mide el consumo de almacenamiento a nivel de campo, no solo de índice, y lo cruza con el uso en búsquedas y dashboards. Esa combinación muestra con precisión qué campos cuestan más y aportan menos, lo que convierte la retención en una decisión basada en datos en lugar de un debate sobre políticas.

Solución

  1. Atribución del almacenamiento a nivel de campo para cada patrón de índices mediante el análisis de uso de disco, y no solo con los totales por índice
  2. Cruce del uso de los campos con las búsquedas guardadas, los dashboards y el historial de consultas para encontrar campos indexados que nunca se buscan
  3. Revisión del comportamiento del dynamic mapping en cada patrón, identificando dónde deben sustituirlo mappings explícitos
  4. Identificación en origen del registro de payloads grandes, con recomendaciones para muestrear o truncar los cuerpos de peticiones y respuestas
  5. Propuesta de niveles de retención por clase de datos para que los logs de debug y los registros de auditoría dejen de compartir política de retención
  6. Modelo de almacenamiento proyectado que muestra la curva de crecimiento antes y después de los cambios recomendados

Resultado final

La evaluación demostró que una gran parte de los campos indexados nunca había aparecido en ninguna consulta. Con mappings explícitos y retención por niveles, el crecimiento proyectado del almacenamiento se aplanó lo suficiente como para cancelar la siguiente ampliación prevista.

Tecnologías

ELK StackElasticsearchKibanaLogstash

¿Preparado para un health check de ELK Stack?

Los ingenieros sénior de ELK Stack de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.