Torna a tutti i casi d'uso

SupportoTrasversale

Ingegneri senior dedicati reperibili per gli incidenti su query e broker Druid

Fornitore di analytics per il retail

Supporto continuativo per timeout del broker e latenza delle query imprevedibile, dovuti a dimensionamento dei segmenti, comportamento della cache e contesa sui thread di elaborazione.

Panoramica

Un fornitore di analytics per il retail metteva a disposizione dei propri clienti dashboard basate su Druid, quindi la latenza delle query era una caratteristica del prodotto e non una questione interna. I timeout del broker comparivano in modo imprevedibile e il team non riusciva a riprodurli. AceMQ ha preso in carico il supporto con ingegneri senior dedicati ed escalation diretta.

Sfida

La latenza delle query Druid dipende da quanti segmenti tocca una query, da quanto bene sono dimensionati, dal fatto che i risultati arrivino dalla cache e da un'eventuale contesa sui thread di elaborazione dei nodi historical. I timeout erano correlati a datasource con segmenti troppo numerosi e troppo piccoli, per cui l'overhead per segmento superava il lavoro effettivo. Inoltre la configurazione della cache si annullava da sola proprio sui pattern di query a volume più alto.

Ambiente

Apache Druid su AWS al servizio di dashboard di analytics rivolte ai clienti, con aspettative di latenza dichiarate.

Approccio

AceMQ ha strumentato il numero di segmenti e i tempi di scansione per singola query, per distinguere le query davvero onerose da quelle che pagavano l'overhead di segmenti frammentati. Il supporto ha poi coperto sia la risposta operativa ai timeout sia il lavoro strutturale necessario per smettere di generarli.

Soluzione

  1. Strumentazione del numero di segmenti e dei tempi di scansione per query, per separare il lavoro reale dall'overhead per segmento
  2. Individuazione dei datasource con segmenti frammentati e pianificazione della compaction per riportarli nell'intervallo di dimensioni previsto
  3. Nuovo tuning del numero di thread di elaborazione dei nodi historical e del dimensionamento dei buffer in base ai tipi di istanza sottostanti
  4. Correzione della configurazione della cache di broker e historical, che si annullava da sola sui pattern ad alto volume
  5. Definizione di policy di timeout, priorità e laning delle query, così che le query ad hoc pesanti non possano lasciare a secco le dashboard
  6. Escalation 24/7 verso ingegneri Druid senior, senza triage di livello 1 nel percorso

Esito

Con l'eliminazione della frammentazione dei segmenti, i timeout del broker sono diventati rari e la latenza p99 delle dashboard si è circa dimezzata. Il laning delle query impedisce alle analisi ad hoc pesanti di influire sul percorso rivolto ai clienti, anche quando vengono eseguite in orario lavorativo.

Tecnologie

Apache DruidKafkaKubernetesPrometheus

Vi serve supporto specialistico per Apache Druid?

Gli ingegneri Apache Druid senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.