Panoramica
Un'azienda energetica conservava in Druid sette anni di telemetria di contatori e rete, con ogni segment ospitato su nodi historical identici e con lo stesso fattore di replica, a prescindere dall'età. Il costo dell'infrastruttura cresceva linearmente con la retention, mentre il volume di query sui dati più vecchi era trascurabile. AceMQ ha valutato le opzioni di tiering.
Sfida
Il tiering funziona solo se si conosce la distribuzione reale degli accessi, e le ipotesi in merito sono di solito sbagliate: le query regolamentari sui dati vecchi sono rare, ma devono comunque andare a buon fine entro un tempo definito. L'assessment doveva stabilire i pattern di accesso reali in base all'età dei dati, e poi determinare quali configurazioni di tiering preservassero il comportamento richiesto delle query a un costo inferiore.
Ambiente
Apache Druid su hardware on-premises e object storage in cloud, con retention pluriennale della telemetria di rete e contatori.
Approccio
AceMQ ha analizzato i log delle query per costruire una distribuzione degli accessi per età dei segment, invece di affidarsi alle aspettative dichiarate, e ha poi modellato le configurazioni di tiering sia in base al costo sia al comportamento delle query che ciascuna avrebbe prodotto, inclusi i tempi di risposta del tier freddo per gli accessi regolamentari.
Soluzione
- Costruita una distribuzione degli accessi per età dei segment a partire dai log reali delle query, anziché da ipotesi dichiarate
- Modellati tier di historical caldo, tiepido e freddo, con load rule mappate sul pattern di accesso misurato
- Valutati fattori di replica ridotti sui tier freddi rispetto ai requisiti di disponibilità e di ripristino
- Valutata l'interrogazione diretta dal deep storage come opzione per i dati più freddi, misurandone le caratteristiche di risposta
- Revisione delle regole di retention e di drop rispetto agli obblighi regolamentari di conservazione
- Fornito un modello di costi e prestazioni per ogni opzione di tiering, con i compromessi dichiarati esplicitamente
Esito
L'azienda dispone ora di un piano di tiering basato sugli accessi misurati anziché su ipotesi, con un percorso chiaro per ridurre l'impronta dei nodi historical mantenendo le query regolamentari entro la finestra di risposta richiesta. I compromessi sono stati dichiarati fin dall'inizio, invece di essere scoperti dopo l'implementazione.