Panoramica
Un exchange pubblicitario dipendeva da Druid per le analytics sulle offerte quasi in tempo reale. Durante i picchi di traffico il lag dei supervisor Kafka passava da pochi secondi a diverse ore, per cui le dashboard su cui facevano affidamento i trader mostravano dati obsoleti proprio quando contava. AceMQ è intervenuta nell'ambito dello SLA di emergenza.
Sfida
Il lag aveva diverse cause che si sommavano. I task slot dei Middle Manager erano esauriti perché i task di ingestion duravano a lungo e trattenevano gli slot necessari ai task in attesa. I segment prodotti da quei task erano sovradimensionati, per cui l'handoff verso il deep storage e il caricamento sugli historical erano lenti. I task falliti venivano ritentati nello stesso pool di slot già saturo.
Ambiente
Apache Druid su Kubernetes che acquisisce da Kafka gli stream di offerte e impression per le analytics in tempo reale.
Approccio
AceMQ ha tracciato la pipeline di ingestion end-to-end (supervisor, assegnazione dei task, pubblicazione dei segment, handoff e caricamento sugli historical) per individuare dove si accumulasse davvero il tempo, invece di ottimizzare il supervisor in modo isolato. Capacità e forma dei task sono state corrette insieme, perché correggerne una senza l'altra sposta semplicemente la coda.
Soluzione
- Tracciato l'intero percorso di ingestion, dal supervisor fino all'handoff e al caricamento sugli historical, per localizzare il ritardo reale
- Ribilanciate la capacità dei worker dei Middle Manager e l'allocazione dei task slot sulla domanda effettiva di task concorrenti
- Regolate durata dei task e granularità dei segment, così che i task rilascino gli slot con una cadenza prevedibile
- Corretto il dimensionamento dei segment, così che handoff e caricamento sugli historical si completino entro la finestra di ingestion
- Capacità di ingestion in streaming separata da quella dei task batch e di compaction, così che smettano di competere
- Lag dei supervisor, utilizzo dei task slot e durata dell'handoff strumentati come segnali distinti su cui impostare alert
Esito
Il lag di ingestion è tornato nell'ordine dei secondi e vi è rimasto anche durante i picchi di traffico. Le dashboard dei trader riflettono ora i dati aggiornati proprio nei periodi in cui vengono effettivamente utilizzate.