Panoramica
Un ente che da diversi anni creava indici giornalieri aveva accumulato decine di migliaia di shard di piccole dimensioni. Aggiungere hardware non serviva più, e le elezioni del master duravano abbastanza da interrompere l'indicizzazione. AceMQ ha valutato il cluster per stabilire se il problema fosse di capacità o di design.
Sfida
Ogni indice giornaliero aveva il numero di shard di default, indipendentemente dal fatto che contenesse pochi megabyte o centinaia di gigabyte. Il cluster state risultante era così grande che la pubblicazione di un aggiornamento a tutti i nodi richiedeva secondi, i pending task si accumulavano in coda e qualsiasi failover del master si trasformava in un disservizio di diversi minuti. Nessuno poteva modificare in sicurezza l'index template, perché non era chiaro quali ricerche a valle dipendessero dalla denominazione attuale degli indici.
Ambiente
Cluster Elasticsearch on-premises, indici giornalieri basati sul tempo con retention pluriennale, carichi misti di ricerca su log e documenti.
Approccio
L'assessment censisce numero di shard e distribuzione delle dimensioni per index pattern, misura dimensioni e latenza di pubblicazione del cluster state e mappa quali indici ricevono effettivamente query. Distinguiamo gli indici da rimodellare da quelli che vanno semplicemente aggregati con rollup o eliminati, e consegniamo un piano in sequenza che il cliente può eseguire durante la normale manutenzione.
Soluzione
- Inventario completo degli shard per index pattern con distribuzione delle dimensioni, che mostra quali pattern producono shard molto al di sotto o al di sopra della dimensione utile
- Dimensioni e latenza di pubblicazione del cluster state misurate per quantificare direttamente l'overhead sul master
- Traffico di query mappato per indice, così che le decisioni di retention si basino su evidenze anziché su ipotesi di policy
- Dimensionamento target degli shard e strategia di rollover raccomandati tramite ILM, con condizioni basate su dimensione ed età
- Piano di remediation in sequenza con passaggi di shrink, reindex e rollup in un ordine che mantiene la ricerca sempre disponibile
- Modello di capacità che mostra di che cosa ha effettivamente bisogno il cluster dopo il consolidamento, evitando un acquisto di hardware non necessario
Esito
Il numero di shard è calato drasticamente con il consolidamento degli indici giornalieri e il rollup dei dati più vecchi, riducendo il tempo di pubblicazione del cluster state a una frazione di quello iniziale. Il failover del master è diventato un non-evento, e l'espansione hardware pianificata è stata rinviata.