Panoramica
Il cluster ELK di un fornitore di servizi assicurativi aveva esaurito lo storage due volte in diciotto mesi senza un motivo evidente. AceMQ ha valutato che cosa venisse effettivamente indicizzato e quanto di quei dati venisse davvero utilizzato.
Sfida
Il dynamic mapping predefinito faceva sì che ogni campo di ogni riga di log JSON fosse sia indicizzato sia archiviato, comprese grandi strutture annidate che nessuno aveva mai cercato. Diversi servizi registravano a livello info i body completi di richieste e risposte. La retention era uniforme su tutti gli indici a prescindere dal loro valore, per cui i log applicativi di livello debug venivano conservati quanto i record di audit. La curva di crescita dello storage non aveva alcun legame con la crescita del business, ma nessuno disponeva dei dati a livello di campo per spiegarla.
Ambiente
Cluster ELK on-premises che acquisisce log applicativi, infrastrutturali e di audit da tutta l'azienda.
Approccio
L'assessment misura il consumo di storage a livello di singolo campo, non solo di indice, e lo incrocia con l'utilizzo nelle ricerche e nelle dashboard. Questa combinazione mostra con precisione quali campi costano di più e rendono di meno, e trasforma la retention da questione di principio a decisione basata su dati concreti.
Soluzione
- Storage attribuito a livello di campo per ogni index pattern tramite l'analisi dell'uso del disco, non soltanto in base ai totali per indice
- Utilizzo dei campi incrociato con ricerche salvate, dashboard e cronologia delle query per individuare i campi indicizzati ma mai cercati
- Comportamento del dynamic mapping esaminato per ogni pattern, individuando dove sostituirlo con mapping espliciti
- Logging di payload di grandi dimensioni individuato alla sorgente, con raccomandazioni per campionare o troncare i body di richieste e risposte
- Proposti tier di retention per classe di dati, così che log di debug e record di audit non condividano più la stessa policy
- Modello previsionale dello storage che mostra la curva di crescita prima e dopo le modifiche raccomandate
Esito
L'assessment ha mostrato che una quota consistente dei campi indicizzati non era mai comparsa in alcuna query. Con mapping espliciti e retention a più livelli, la crescita prevista dello storage si è appiattita a sufficienza da rendere superflua la successiva espansione pianificata.