Panoramica
Il tiered storage sposta i segmenti di log chiusi nell'object storage mantenendo la finestra recente sul disco locale, svincolando la retention dalla dimensione degli NVMe allocati. AceMQ valuta se i pattern di lettura lo giustificano e progetta configurazione e dimensionamento sulla base del comportamento misurato.
Sfida
I team alle prese con requisiti di retention di diversi mesi o anni finiscono per sovradimensionare il disco locale su ogni broker oppure per accorciare la retention, perdendo la possibilità di replay. Il tiered storage risolve il problema, ma solo se la finestra di cache locale corrisponde al modo in cui i consumer leggono davvero: un job di ricostruzione che esegue il replay dall'inizio di un topic preleva grandi volumi dall'object storage, e i costi di richieste ed egress che ne derivano sorprendono chi non li aveva modellati.
Ambiente
Cluster Redpanda su Kubernetes o istanze cloud con NVMe locale e object storage compatibile S3, al servizio sia di consumer in streaming sia di replay storici periodici.
Approccio
AceMQ profila nel tempo gli offset di lettura dei consumer per misurare quanto indietro arrivino davvero e con quale frequenza, il che determina la finestra di cache locale. La retention viene poi suddivisa per ciascun topic in un tier locale hot e un tier cold su object storage, e il costo delle letture remote viene modellato sui pattern di replay reali anziché sullo scenario peggiore.
Soluzione
- Profilazione degli offset di lettura dei consumer per misurare la finestra di recenza effettiva e la frequenza dei replay storici profondi
- Retention suddivisa per topic tra storage locale hot e tier remoto su object storage
- Dimensionamento di disco locale e cache ricavato dalla finestra hot misurata, più un margine per i picchi di consumer lag
- Modellazione dei costi di richieste, egress e lifecycle dell'object storage sui pattern di replay reali anziché sullo scenario peggiore
- Validazione delle prestazioni di lettura remota per i job batch e di analytics che eseguono il replay dal tier cold
- Procedure di recovery e di ricreazione dei topic validate sul tier remoto, inclusa la ricostruzione del cluster dall'object storage
Esito
I clienti estendono la retention di un ordine di grandezza senza un aumento proporzionale dello storage locale, e il modello dei costi riflette il comportamento di lettura misurato. Le procedure di recovery vengono validate prima che servano, non durante un incidente.