Torna a tutti i casi d'uso

AssessmentSoftware / Piattaforme digitali

Smettete di dimensionare NVMe locali per dati che leggete una volta a trimestre

Fornitore di piattaforme per dispositivi connessi

Progettazione del tiered storage per retention lunghe, così che i dati storici risiedano nell'object storage senza che sia il disco locale a decidere per quanto tempo potete conservarli.

Panoramica

Il tiered storage sposta i segmenti di log chiusi nell'object storage mantenendo la finestra recente sul disco locale, svincolando la retention dalla dimensione degli NVMe allocati. AceMQ valuta se i pattern di lettura lo giustificano e progetta configurazione e dimensionamento sulla base del comportamento misurato.

Sfida

I team alle prese con requisiti di retention di diversi mesi o anni finiscono per sovradimensionare il disco locale su ogni broker oppure per accorciare la retention, perdendo la possibilità di replay. Il tiered storage risolve il problema, ma solo se la finestra di cache locale corrisponde al modo in cui i consumer leggono davvero: un job di ricostruzione che esegue il replay dall'inizio di un topic preleva grandi volumi dall'object storage, e i costi di richieste ed egress che ne derivano sorprendono chi non li aveva modellati.

Ambiente

Cluster Redpanda su Kubernetes o istanze cloud con NVMe locale e object storage compatibile S3, al servizio sia di consumer in streaming sia di replay storici periodici.

Approccio

AceMQ profila nel tempo gli offset di lettura dei consumer per misurare quanto indietro arrivino davvero e con quale frequenza, il che determina la finestra di cache locale. La retention viene poi suddivisa per ciascun topic in un tier locale hot e un tier cold su object storage, e il costo delle letture remote viene modellato sui pattern di replay reali anziché sullo scenario peggiore.

Soluzione

  1. Profilazione degli offset di lettura dei consumer per misurare la finestra di recenza effettiva e la frequenza dei replay storici profondi
  2. Retention suddivisa per topic tra storage locale hot e tier remoto su object storage
  3. Dimensionamento di disco locale e cache ricavato dalla finestra hot misurata, più un margine per i picchi di consumer lag
  4. Modellazione dei costi di richieste, egress e lifecycle dell'object storage sui pattern di replay reali anziché sullo scenario peggiore
  5. Validazione delle prestazioni di lettura remota per i job batch e di analytics che eseguono il replay dal tier cold
  6. Procedure di recovery e di ricreazione dei topic validate sul tier remoto, inclusa la ricostruzione del cluster dall'object storage

Esito

I clienti estendono la retention di un ordine di grandezza senza un aumento proporzionale dello storage locale, e il modello dei costi riflette il comportamento di lettura misurato. Le procedure di recovery vengono validate prima che servano, non durante un incidente.

Tecnologie

RedpandaApache KafkaKubernetesApache Spark

Pronti per un health check di Redpanda?

Gli ingegneri Redpanda senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.