Torna a tutti i casi d'uso

AssessmentEnergia / Utility

Adeguare il tier di storage alla frequenza con cui i dati vengono davvero letti

Operatore di servizi energetici

Assessment del tiering degli historical, delle regole di retention e dei fattori di replica per allineare il costo dell'infrastruttura al modo in cui i dati vengono effettivamente interrogati nel tempo.

Panoramica

Un'azienda energetica conservava in Druid sette anni di telemetria di contatori e rete, con ogni segment ospitato su nodi historical identici e con lo stesso fattore di replica, a prescindere dall'età. Il costo dell'infrastruttura cresceva linearmente con la retention, mentre il volume di query sui dati più vecchi era trascurabile. AceMQ ha valutato le opzioni di tiering.

Sfida

Il tiering funziona solo se si conosce la distribuzione reale degli accessi, e le ipotesi in merito sono di solito sbagliate: le query regolamentari sui dati vecchi sono rare, ma devono comunque andare a buon fine entro un tempo definito. L'assessment doveva stabilire i pattern di accesso reali in base all'età dei dati, e poi determinare quali configurazioni di tiering preservassero il comportamento richiesto delle query a un costo inferiore.

Ambiente

Apache Druid su hardware on-premises e object storage in cloud, con retention pluriennale della telemetria di rete e contatori.

Approccio

AceMQ ha analizzato i log delle query per costruire una distribuzione degli accessi per età dei segment, invece di affidarsi alle aspettative dichiarate, e ha poi modellato le configurazioni di tiering sia in base al costo sia al comportamento delle query che ciascuna avrebbe prodotto, inclusi i tempi di risposta del tier freddo per gli accessi regolamentari.

Soluzione

  1. Costruita una distribuzione degli accessi per età dei segment a partire dai log reali delle query, anziché da ipotesi dichiarate
  2. Modellati tier di historical caldo, tiepido e freddo, con load rule mappate sul pattern di accesso misurato
  3. Valutati fattori di replica ridotti sui tier freddi rispetto ai requisiti di disponibilità e di ripristino
  4. Valutata l'interrogazione diretta dal deep storage come opzione per i dati più freddi, misurandone le caratteristiche di risposta
  5. Revisione delle regole di retention e di drop rispetto agli obblighi regolamentari di conservazione
  6. Fornito un modello di costi e prestazioni per ogni opzione di tiering, con i compromessi dichiarati esplicitamente

Esito

L'azienda dispone ora di un piano di tiering basato sugli accessi misurati anziché su ipotesi, con un percorso chiaro per ridurre l'impronta dei nodi historical mantenendo le query regolamentari entro la finestra di risposta richiesta. I compromessi sono stati dichiarati fin dall'inizio, invece di essere scoperti dopo l'implementazione.

Tecnologie

Apache DruidS3KubernetesPrometheus

Pronti per un health check di Apache Druid?

Gli ingegneri Apache Druid senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.