Panoramica
Un fornitore di analytics per la sanità aveva bisogno di una retention pluriennale per motivi di audit, ma conservava tutto su costosi nodi hot. AceMQ ha progettato una strategia di ILM e tiering che soddisfa il requisito di retention spostando la maggior parte dei dati su uno storage più economico.
Sfida
Le regole di retention erano applicate da script di pulizia scritti a mano che di tanto in tanto cancellavano il pattern di indice sbagliato. Non esisteva un tier warm o cold, gli snapshot venivano eseguiti in modo discontinuo e nessuno aveva mai testato un ripristino. Il team compliance non sapeva dire per quanto tempo una determinata classe di record venisse effettivamente conservata, perché la risposta dipendeva da quale script era andato a buon fine per ultimo.
Ambiente
Deployment Elasticsearch ibrido con nodi hot on-premise e object storage in cloud disponibile per snapshot e dati ricercabili.
Approccio
Siamo partiti mappando ogni pattern di indice sul relativo obbligo normativo di retention, dato che diversi pattern venivano conservati molto più a lungo del necessario. Su questa base abbiamo progettato policy ILM guidate dal rollover con fasi hot, warm e cold esplicite, aggiunto una policy di snapshot lifecycle verso l'object storage e provato le procedure di ripristino finché i tempi non sono stati noti anziché presunti.
Soluzione
- Requisiti di retention mappati per pattern di indice e riconciliati con ciò che gli script di pulizia facevano davvero
- Policy ILM basate su alias di rollover con condizioni di dimensione ed età, in sostituzione completa degli script di cancellazione artigianali
- Definizione delle fasi hot, warm e cold, inclusi force-merge, riduzione delle repliche e shard allocation filtering per attributo di nodo
- Snapshot lifecycle management verso l'object storage con regole di retention corrispondenti all'obbligo di compliance
- Prove di ripristino eseguite e cronometrate, così l'obiettivo di recovery è un valore misurato e non una stima
- Definizioni delle policy versionate come codice infrastrutturale, così ogni modifica passa da una revisione
Esito
La maggior parte dei dati indicizzati ora risiede sui tier warm e cold, liberando una notevole capacità dei nodi hot per i carichi di query. La retention è applicata dalle policy anziché dagli script, e il team compliance può rispondere alle domande sulla retention direttamente dalle definizioni delle policy.