Panoramica
Il cluster Druid di un operatore di telecomunicazioni aveva accumulato anni di telemetria di rete senza alcuna policy di compaction. Il numero di segmenti era salito nell'ordine dei milioni, il lavoro del coordinator era cresciuto di pari passo e ogni query pagava un overhead proporzionale al numero di segmenti anziché al volume dei dati. AceMQ ha progettato una strategia di granularità e compaction.
Sfida
L'ingestion in streaming produce per natura segmenti piccoli, dimensionati sulla finestra di ingestion e non su ciò che serve alle query. Senza compaction, quei segmenti restano lì indefinitamente. La riprogettazione doveva scegliere granularità adatte agli intervalli temporali reali delle query, definire un partizionamento secondario che migliorasse il pruning e pianificare la compaction in modo che non sottraesse capacità di task all'ingestion.
Ambiente
Cluster Apache Druid on-premises con telemetria pluriennale su prestazioni di rete e abbonati.
Approccio
AceMQ ha analizzato la distribuzione degli intervalli temporali delle query per ciascun datasource, per scegliere granularità dei segmenti coerenti con il modo in cui i dati venivano effettivamente interrogati, e ha poi progettato l'auto-compaction con riserve esplicite di capacità di task, così che girasse in continuo senza lasciare l'ingestion a corto di risorse.
Soluzione
- Analisi della distribuzione degli intervalli temporali delle query per datasource, per scegliere la granularità dei segmenti sulla base dei dati anziché per convenzione
- Partizionamento secondario definito sulle dimensioni più filtrate dalle query, migliorando il pruning all'interno dei segmenti
- Auto-compaction configurata con dimensioni target dei segmenti e capacità di task riservata in modo esplicito
- Compaction del backlog storico pianificata in fasi delimitate, per evitare di sovraccaricare il cluster
- Policy di rollup e di aggregazione delle metriche definita per datasource, per ridurre le dimensioni dei segmenti dove la granularità delle query lo consente
- Numero di segmenti e dimensione media dei segmenti per datasource introdotti come metriche operative monitorate
Esito
Il numero di segmenti è calato drasticamente man mano che il backlog veniva compattato, e oggi l'auto-compaction lo mantiene stabile all'arrivo di nuovi dati. Il carico sul coordinator è diminuito e l'overhead delle query cresce con il volume dei dati anziché con il numero di segmenti.