Panoramica
Un fornitore di analytics in ambito sanitario aveva bisogno di uno storico lungo per il capacity planning e di una retention pluriennale per alcune metriche operative, ma la otteneva collegando a Prometheus volumi block molto grandi. AceMQ ha progettato al loro posto un'architettura basata su object storage con downsampling.
Sfida
La retention locale era impostata ben oltre un anno, il che significava volumi enormi da provisionare per ogni istanza, compaction lenta e spostamenti delle istanze complicati. Le query su intervalli lunghi andavano in timeout perché scansionavano campioni a risoluzione piena sull'intera finestra. Mancava inoltre una vera garanzia di durabilità: la retention risiedeva su volumi collegati a singole istanze, quindi la perdita di un'istanza significava perdere uno storico che l'azienda si era impegnata a conservare.
Ambiente
Prometheus su Kubernetes in più account AWS, object storage disponibile, obblighi normativi di retention su un sottoinsieme di metriche.
Approccio
Abbiamo separato i due compiti affidati a Prometheus: dati recenti ad alta risoluzione per l'alerting e storico di lungo periodo per pianificazione e audit. Prometheus mantiene una breve finestra locale; i blocchi vengono inviati all'object storage, dove un compactor con downsampling produce risoluzioni più grossolane per le query di lungo periodo. L'obbligo di retention viene quindi garantito dalle policy di lifecycle degli oggetti e non dalla configurazione delle istanze.
Soluzione
- Retention locale di Prometheus ridotta a una breve finestra, dimensionata solo per l'alerting e il debug immediato
- Invio dei blocchi all'object storage con un compactor che produce risoluzioni sottocampionate a cinque minuti e a un'ora
- Livello di query configurato per selezionare automaticamente la risoluzione adeguata in base all'intervallo richiesto
- Obblighi di retention garantiti tramite regole di lifecycle degli oggetti per prefisso di bucket, verificabili indipendentemente da Prometheus
- Deduplicazione configurata tra le coppie Prometheus in alta disponibilità, perché le query di lungo periodo restituiscano un'unica serie coerente
- Modello dei costi che confronta il block storage provisionato con object storage più downsampling sui volumi di dati reali del cliente
Esito
Il block storage provisionato per istanza si è ridotto di circa un ordine di grandezza, e le query di capacità su un intervallo annuale che prima andavano in timeout ora rispondono in pochi secondi sui dati sottocampionati. La retention è ora applicabile e verificabile senza dipendere dalla sopravvivenza di una singola istanza.