Torna a tutti i casi d'uso

AssessmentPubblica amministrazione / Difesa

Capire perché un cluster con hardware in abbondanza sembra comunque lento

Ente della pubblica amministrazione

Assessment di un cluster Elasticsearch con un numero eccessivo di shard, in cui le dimensioni del cluster state e le code di pending task causavano instabilità del master.

Panoramica

Un ente che da diversi anni creava indici giornalieri aveva accumulato decine di migliaia di shard di piccole dimensioni. Aggiungere hardware non serviva più, e le elezioni del master duravano abbastanza da interrompere l'indicizzazione. AceMQ ha valutato il cluster per stabilire se il problema fosse di capacità o di design.

Sfida

Ogni indice giornaliero aveva il numero di shard di default, indipendentemente dal fatto che contenesse pochi megabyte o centinaia di gigabyte. Il cluster state risultante era così grande che la pubblicazione di un aggiornamento a tutti i nodi richiedeva secondi, i pending task si accumulavano in coda e qualsiasi failover del master si trasformava in un disservizio di diversi minuti. Nessuno poteva modificare in sicurezza l'index template, perché non era chiaro quali ricerche a valle dipendessero dalla denominazione attuale degli indici.

Ambiente

Cluster Elasticsearch on-premises, indici giornalieri basati sul tempo con retention pluriennale, carichi misti di ricerca su log e documenti.

Approccio

L'assessment censisce numero di shard e distribuzione delle dimensioni per index pattern, misura dimensioni e latenza di pubblicazione del cluster state e mappa quali indici ricevono effettivamente query. Distinguiamo gli indici da rimodellare da quelli che vanno semplicemente aggregati con rollup o eliminati, e consegniamo un piano in sequenza che il cliente può eseguire durante la normale manutenzione.

Soluzione

  1. Inventario completo degli shard per index pattern con distribuzione delle dimensioni, che mostra quali pattern producono shard molto al di sotto o al di sopra della dimensione utile
  2. Dimensioni e latenza di pubblicazione del cluster state misurate per quantificare direttamente l'overhead sul master
  3. Traffico di query mappato per indice, così che le decisioni di retention si basino su evidenze anziché su ipotesi di policy
  4. Dimensionamento target degli shard e strategia di rollover raccomandati tramite ILM, con condizioni basate su dimensione ed età
  5. Piano di remediation in sequenza con passaggi di shrink, reindex e rollup in un ordine che mantiene la ricerca sempre disponibile
  6. Modello di capacità che mostra di che cosa ha effettivamente bisogno il cluster dopo il consolidamento, evitando un acquisto di hardware non necessario

Esito

Il numero di shard è calato drasticamente con il consolidamento degli indici giornalieri e il rollup dei dati più vecchi, riducendo il tempo di pubblicazione del cluster state a una frazione di quello iniziale. Il failover del master è diventato un non-evento, e l'espansione hardware pianificata è stata rinviata.

Tecnologie

ElasticsearchKibanaLinux

Pronti per un health check di Elasticsearch?

Gli ingegneri Elasticsearch senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.