Volver a todos los casos de uso

EvaluaciónAdministración pública / Defensa

Averiguar por qué un clúster con hardware de sobra sigue yendo lento

Organismo del sector público

Evaluación de un clúster de Elasticsearch con exceso de shards en el que el tamaño del cluster state y las colas de tareas pendientes provocaban inestabilidad en el nodo master.

Descripción general

Un organismo que llevaba varios años creando índices diarios había acumulado decenas de miles de shards pequeños. Añadir hardware había dejado de servir, y las elecciones de master tardaban tanto que interrumpían la indexación. AceMQ evaluó el clúster para determinar si el problema era de capacidad o de diseño.

Reto

Cada índice diario tenía el número de shards por defecto, tanto si contenía unos pocos megabytes como cientos de gigabytes. El cluster state resultante era tan grande que publicar una actualización en todos los nodos tardaba segundos, las tareas pendientes se acumulaban detrás y cualquier failover del master se convertía en una caída de varios minutos. Nadie podía modificar con seguridad la plantilla de índices porque no estaba claro qué búsquedas posteriores dependían de la nomenclatura de índices existente.

Entorno

Clúster de Elasticsearch on-premise, índices diarios basados en tiempo con retención de varios años y cargas mixtas de búsqueda en logs y en documentos.

Enfoque

La evaluación inventaría el número y la distribución de tamaños de los shards por patrón de índice, mide el tamaño del cluster state y la latencia de publicación, y determina qué índices reciben realmente consultas. Separamos los índices que hay que remodelar de los que basta con agregar (rollup) o eliminar, y entregamos un plan secuenciado que el cliente puede ejecutar durante el mantenimiento habitual.

Solución

  1. Inventario completo de shards por patrón de índice con su distribución de tamaños, que muestra qué patrones producen shards muy por debajo o por encima de un tamaño útil
  2. Medición del tamaño del cluster state y de la latencia de publicación para cuantificar directamente la sobrecarga del master
  3. Mapeo del tráfico de consultas por índice para que las decisiones de retención se basen en datos y no en suposiciones de la política
  4. Recomendación del tamaño objetivo de los shards y de una estrategia de rollover con ILM basada en condiciones de tamaño y de antigüedad
  5. Plan de remediación secuenciado que abarca los pasos de shrink, reindex y rollup en un orden que mantiene la búsqueda disponible en todo momento
  6. Modelo de capacidad que muestra lo que el clúster necesita realmente tras la consolidación y evita una compra de hardware innecesaria

Resultado final

El número de shards cayó drásticamente tras consolidar los índices diarios y agregar los datos antiguos, lo que redujo el tiempo de publicación del cluster state a una fracción del original. El failover del master dejó de ser un problema y la ampliación de hardware prevista se aplazó.

Tecnologías

ElasticsearchKibanaLinux

¿Preparado para un health check de Elasticsearch?

Los ingenieros sénior de Elasticsearch de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.