Torna a tutti i casi d'uso

AssessmentTrasversale

Scoprire quali campi indicizzate senza che nessuno li cerchi mai

Fornitore di servizi assicurativi

Assessment di volume dei log, utilità dei singoli campi e retention in un parco ELK in cui la crescita dello storage aveva superato qualsiasi pianificazione.

Panoramica

Il cluster ELK di un fornitore di servizi assicurativi aveva esaurito lo storage due volte in diciotto mesi senza un motivo evidente. AceMQ ha valutato che cosa venisse effettivamente indicizzato e quanto di quei dati venisse davvero utilizzato.

Sfida

Il dynamic mapping predefinito faceva sì che ogni campo di ogni riga di log JSON fosse sia indicizzato sia archiviato, comprese grandi strutture annidate che nessuno aveva mai cercato. Diversi servizi registravano a livello info i body completi di richieste e risposte. La retention era uniforme su tutti gli indici a prescindere dal loro valore, per cui i log applicativi di livello debug venivano conservati quanto i record di audit. La curva di crescita dello storage non aveva alcun legame con la crescita del business, ma nessuno disponeva dei dati a livello di campo per spiegarla.

Ambiente

Cluster ELK on-premises che acquisisce log applicativi, infrastrutturali e di audit da tutta l'azienda.

Approccio

L'assessment misura il consumo di storage a livello di singolo campo, non solo di indice, e lo incrocia con l'utilizzo nelle ricerche e nelle dashboard. Questa combinazione mostra con precisione quali campi costano di più e rendono di meno, e trasforma la retention da questione di principio a decisione basata su dati concreti.

Soluzione

  1. Storage attribuito a livello di campo per ogni index pattern tramite l'analisi dell'uso del disco, non soltanto in base ai totali per indice
  2. Utilizzo dei campi incrociato con ricerche salvate, dashboard e cronologia delle query per individuare i campi indicizzati ma mai cercati
  3. Comportamento del dynamic mapping esaminato per ogni pattern, individuando dove sostituirlo con mapping espliciti
  4. Logging di payload di grandi dimensioni individuato alla sorgente, con raccomandazioni per campionare o troncare i body di richieste e risposte
  5. Proposti tier di retention per classe di dati, così che log di debug e record di audit non condividano più la stessa policy
  6. Modello previsionale dello storage che mostra la curva di crescita prima e dopo le modifiche raccomandate

Esito

L'assessment ha mostrato che una quota consistente dei campi indicizzati non era mai comparsa in alcuna query. Con mapping espliciti e retention a più livelli, la crescita prevista dello storage si è appiattita a sufficienza da rendere superflua la successiva espansione pianificata.

Tecnologie

ELK StackElasticsearchKibanaLogstash

Pronti per un health check di ELK Stack?

Gli ingegneri ELK Stack senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.