Panoramica
Una piattaforma di misurazione ha iniziato a rifiutare gli inserimenti con errori too many parts durante i picchi di traffico. Ogni istanza applicativa inseriva piccoli batch di righe a intervalli brevi, creando molte più part di quante lo scheduler dei merge riuscisse a eliminare. AceMQ è stata coinvolta nell'ambito dello SLA di emergenza.
Sfida
Il limite sulle part è una protezione, non il problema: alzarlo lascia la tabella degradare ulteriormente, finché le query non rallentano fino quasi a fermarsi leggendo migliaia di part. Le vere cause erano la dimensione dei batch di inserimento, la frequenza degli inserimenti e una chiave di partizione con una cardinalità così alta che ogni inserimento toccava molte partizioni contemporaneamente, moltiplicando la creazione di part.
Ambiente
Cluster ClickHouse su AWS che acquisisce flussi di eventi da Kafka per la misurazione delle campagne in tempo reale.
Approccio
AceMQ ha misurato, tabella per tabella, il tasso di creazione delle part rispetto al throughput dei merge per quantificare il divario reale, poi ha affrontato per prima la forma degli inserimenti, perché nessun tuning dei merge compensa inserimenti che arrivano nella forma sbagliata. La modifica della chiave di partizione è stata eseguita per fasi, così i dati esistenti sono rimasti interrogabili per tutto il tempo.
Soluzione
- Misurazione, tabella per tabella, del tasso di creazione delle part rispetto al throughput dei merge per quantificare il deficit reale
- Consolidamento di molti piccoli inserimenti applicativi in un numero minore di batch grandi tramite un livello di ingestion con buffering
- Riduzione della cardinalità della chiave di partizione, così ogni inserimento tocca un numero limitato di partizioni
- Nuovo tuning della dimensione del pool dei merge in background e delle impostazioni di merge in base a CPU e I/O disponibili
- Modifica della chiave di partizione eseguita per fasi, così i dati esistenti restano interrogabili durante la transizione
- Aggiunta agli alert del numero di part per tabella e dell'arretrato dei merge, con largo anticipo rispetto alla soglia di rifiuto
Esito
I rifiuti degli inserimenti sono cessati e il numero di part è tornato in un intervallo in cui i merge tengono il passo anche nei picchi di traffico. Come effetto collaterale sono migliorate anche le prestazioni delle query, dato che le scansioni non devono più aprire migliaia di part per tabella.