Volver a todos los casos de uso

EvaluaciónGobierno / Defensa

Descubrir por qué un clúster con hardware de sobra se sigue sintiendo lento

Organismo del sector público

Evaluación de un clúster de Elasticsearch con exceso de shards, donde el tamaño del cluster state y las colas de tareas pendientes provocaban inestabilidad en el nodo master.

Descripción general

Un organismo que llevaba varios años creando índices diarios había acumulado decenas de miles de shards pequeños. Agregar hardware había dejado de ayudar, y las elecciones de master tardaban lo suficiente como para interrumpir la indexación. AceMQ evaluó el clúster para determinar si el problema era de capacidad o de diseño.

Desafío

Cada índice diario tenía la cantidad de shards por defecto, sin importar si contenía unos pocos megabytes o cientos de gigabytes. El cluster state resultante era tan grande que publicar una actualización a todos los nodos tardaba segundos, las tareas pendientes se acumulaban detrás y cualquier failover del master se convertía en una caída de varios minutos. Nadie podía cambiar el index template de forma segura porque no estaba claro qué búsquedas downstream dependían de la nomenclatura de índices existente.

Entorno

Clúster de Elasticsearch on-premise, con índices diarios basados en tiempo y retención de varios años, y cargas de trabajo mixtas de búsqueda de logs y documentos.

Enfoque

La evaluación inventaría la cantidad y la distribución de tamaño de los shards por patrón de índice, mide el tamaño del cluster state y la latencia de publicación, y mapea qué índices reciben consultas realmente. Separamos los índices que hay que reestructurar de los que simplemente hay que consolidar con rollup o eliminar, y entregamos un plan secuenciado que el cliente puede ejecutar durante el mantenimiento normal.

Solución

  1. Inventario completo de shards por patrón de índice con su distribución de tamaño, que muestra qué patrones producen shards muy por debajo o muy por encima de un tamaño útil
  2. Medición del tamaño del cluster state y de la latencia de publicación para cuantificar directamente el overhead del master
  3. Mapeo del tráfico de consultas por índice, para que las decisiones de retención se tomen con evidencia y no a partir de supuestos de política
  4. Recomendación de un tamaño objetivo de shard y de una estrategia de rollover con ILM, usando condiciones basadas en tamaño y en antigüedad
  5. Plan de corrección secuenciado que cubre los pasos de shrink, reindex y rollup en un orden que mantiene la búsqueda disponible en todo momento
  6. Modelo de capacidad que muestra lo que el clúster realmente necesita después de la consolidación, lo que evita una compra de hardware innecesaria

Resultado final

La cantidad de shards bajó drásticamente una vez consolidados los índices diarios y aplicado rollup a los datos antiguos, lo que redujo el tiempo de publicación del cluster state a una fracción del original. El failover del master dejó de ser un evento, y la ampliación de hardware planificada se postergó.

Tecnologías

ElasticsearchKibanaLinux

¿Listo para un health check de Elasticsearch?

Los ingenieros sénior de Elasticsearch de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.