Torna a tutti i casi d'uso

RemediationSoftware / Piattaforme digitali

Riportare l'ingestion in tempo reale entro il proprio budget di latenza

Exchange di pubblicità digitale

Risoluzione del lag dei supervisor Kafka causato dall'esaurimento dei task slot, da task di ingestion sovradimensionati e da handoff falliti verso il deep storage.

Panoramica

Un exchange pubblicitario dipendeva da Druid per le analytics sulle offerte quasi in tempo reale. Durante i picchi di traffico il lag dei supervisor Kafka passava da pochi secondi a diverse ore, per cui le dashboard su cui facevano affidamento i trader mostravano dati obsoleti proprio quando contava. AceMQ è intervenuta nell'ambito dello SLA di emergenza.

Sfida

Il lag aveva diverse cause che si sommavano. I task slot dei Middle Manager erano esauriti perché i task di ingestion duravano a lungo e trattenevano gli slot necessari ai task in attesa. I segment prodotti da quei task erano sovradimensionati, per cui l'handoff verso il deep storage e il caricamento sugli historical erano lenti. I task falliti venivano ritentati nello stesso pool di slot già saturo.

Ambiente

Apache Druid su Kubernetes che acquisisce da Kafka gli stream di offerte e impression per le analytics in tempo reale.

Approccio

AceMQ ha tracciato la pipeline di ingestion end-to-end (supervisor, assegnazione dei task, pubblicazione dei segment, handoff e caricamento sugli historical) per individuare dove si accumulasse davvero il tempo, invece di ottimizzare il supervisor in modo isolato. Capacità e forma dei task sono state corrette insieme, perché correggerne una senza l'altra sposta semplicemente la coda.

Soluzione

  1. Tracciato l'intero percorso di ingestion, dal supervisor fino all'handoff e al caricamento sugli historical, per localizzare il ritardo reale
  2. Ribilanciate la capacità dei worker dei Middle Manager e l'allocazione dei task slot sulla domanda effettiva di task concorrenti
  3. Regolate durata dei task e granularità dei segment, così che i task rilascino gli slot con una cadenza prevedibile
  4. Corretto il dimensionamento dei segment, così che handoff e caricamento sugli historical si completino entro la finestra di ingestion
  5. Capacità di ingestion in streaming separata da quella dei task batch e di compaction, così che smettano di competere
  6. Lag dei supervisor, utilizzo dei task slot e durata dell'handoff strumentati come segnali distinti su cui impostare alert

Esito

Il lag di ingestion è tornato nell'ordine dei secondi e vi è rimasto anche durante i picchi di traffico. Le dashboard dei trader riflettono ora i dati aggiornati proprio nei periodi in cui vengono effettivamente utilizzate.

Tecnologie

Apache DruidKafkaKubernetesPrometheus

Avete un problema di produzione su Apache Druid?

Gli ingegneri Apache Druid senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.