Torna a tutti i casi d'uso

RemediationSoftware / Piattaforme digitali

Correggere la forma degli inserimenti perché i merge possano tenere il passo

Piattaforma di misurazione per l'adtech

Risoluzione dei fallimenti di ingestion in cui inserimenti piccoli e frequenti generavano part più velocemente di quanto i merge in background riuscissero a eliminarle, facendo scattare il limite sulle part.

Panoramica

Una piattaforma di misurazione ha iniziato a rifiutare gli inserimenti con errori too many parts durante i picchi di traffico. Ogni istanza applicativa inseriva piccoli batch di righe a intervalli brevi, creando molte più part di quante lo scheduler dei merge riuscisse a eliminare. AceMQ è stata coinvolta nell'ambito dello SLA di emergenza.

Sfida

Il limite sulle part è una protezione, non il problema: alzarlo lascia la tabella degradare ulteriormente, finché le query non rallentano fino quasi a fermarsi leggendo migliaia di part. Le vere cause erano la dimensione dei batch di inserimento, la frequenza degli inserimenti e una chiave di partizione con una cardinalità così alta che ogni inserimento toccava molte partizioni contemporaneamente, moltiplicando la creazione di part.

Ambiente

Cluster ClickHouse su AWS che acquisisce flussi di eventi da Kafka per la misurazione delle campagne in tempo reale.

Approccio

AceMQ ha misurato, tabella per tabella, il tasso di creazione delle part rispetto al throughput dei merge per quantificare il divario reale, poi ha affrontato per prima la forma degli inserimenti, perché nessun tuning dei merge compensa inserimenti che arrivano nella forma sbagliata. La modifica della chiave di partizione è stata eseguita per fasi, così i dati esistenti sono rimasti interrogabili per tutto il tempo.

Soluzione

  1. Misurazione, tabella per tabella, del tasso di creazione delle part rispetto al throughput dei merge per quantificare il deficit reale
  2. Consolidamento di molti piccoli inserimenti applicativi in un numero minore di batch grandi tramite un livello di ingestion con buffering
  3. Riduzione della cardinalità della chiave di partizione, così ogni inserimento tocca un numero limitato di partizioni
  4. Nuovo tuning della dimensione del pool dei merge in background e delle impostazioni di merge in base a CPU e I/O disponibili
  5. Modifica della chiave di partizione eseguita per fasi, così i dati esistenti restano interrogabili durante la transizione
  6. Aggiunta agli alert del numero di part per tabella e dell'arretrato dei merge, con largo anticipo rispetto alla soglia di rifiuto

Esito

I rifiuti degli inserimenti sono cessati e il numero di part è tornato in un intervallo in cui i merge tengono il passo anche nei picchi di traffico. Come effetto collaterale sono migliorate anche le prestazioni delle query, dato che le scansioni non devono più aprire migliaia di part per tabella.

Tecnologie

ClickHouseKafkaKubernetesPrometheus

Avete un problema di produzione su ClickHouse?

Gli ingegneri ClickHouse senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.