Descripción general
Un organismo que llevaba varios años creando índices diarios había acumulado decenas de miles de shards pequeños. Añadir hardware había dejado de servir, y las elecciones de master tardaban tanto que interrumpían la indexación. AceMQ evaluó el clúster para determinar si el problema era de capacidad o de diseño.
Reto
Cada índice diario tenía el número de shards por defecto, tanto si contenía unos pocos megabytes como cientos de gigabytes. El cluster state resultante era tan grande que publicar una actualización en todos los nodos tardaba segundos, las tareas pendientes se acumulaban detrás y cualquier failover del master se convertía en una caída de varios minutos. Nadie podía modificar con seguridad la plantilla de índices porque no estaba claro qué búsquedas posteriores dependían de la nomenclatura de índices existente.
Entorno
Clúster de Elasticsearch on-premise, índices diarios basados en tiempo con retención de varios años y cargas mixtas de búsqueda en logs y en documentos.
Enfoque
La evaluación inventaría el número y la distribución de tamaños de los shards por patrón de índice, mide el tamaño del cluster state y la latencia de publicación, y determina qué índices reciben realmente consultas. Separamos los índices que hay que remodelar de los que basta con agregar (rollup) o eliminar, y entregamos un plan secuenciado que el cliente puede ejecutar durante el mantenimiento habitual.
Solución
- Inventario completo de shards por patrón de índice con su distribución de tamaños, que muestra qué patrones producen shards muy por debajo o por encima de un tamaño útil
- Medición del tamaño del cluster state y de la latencia de publicación para cuantificar directamente la sobrecarga del master
- Mapeo del tráfico de consultas por índice para que las decisiones de retención se basen en datos y no en suposiciones de la política
- Recomendación del tamaño objetivo de los shards y de una estrategia de rollover con ILM basada en condiciones de tamaño y de antigüedad
- Plan de remediación secuenciado que abarca los pasos de shrink, reindex y rollup en un orden que mantiene la búsqueda disponible en todo momento
- Modelo de capacidad que muestra lo que el clúster necesita realmente tras la consolidación y evita una compra de hardware innecesaria
Resultado final
El número de shards cayó drásticamente tras consolidar los índices diarios y agregar los datos antiguos, lo que redujo el tiempo de publicación del cluster state a una fracción del original. El failover del master dejó de ser un problema y la ampliación de hardware prevista se aplazó.