Panoramica
Un fornitore di analytics per il retail metteva a disposizione dei propri clienti dashboard basate su Druid, quindi la latenza delle query era una caratteristica del prodotto e non una questione interna. I timeout del broker comparivano in modo imprevedibile e il team non riusciva a riprodurli. AceMQ ha preso in carico il supporto con ingegneri senior dedicati ed escalation diretta.
Sfida
La latenza delle query Druid dipende da quanti segmenti tocca una query, da quanto bene sono dimensionati, dal fatto che i risultati arrivino dalla cache e da un'eventuale contesa sui thread di elaborazione dei nodi historical. I timeout erano correlati a datasource con segmenti troppo numerosi e troppo piccoli, per cui l'overhead per segmento superava il lavoro effettivo. Inoltre la configurazione della cache si annullava da sola proprio sui pattern di query a volume più alto.
Ambiente
Apache Druid su AWS al servizio di dashboard di analytics rivolte ai clienti, con aspettative di latenza dichiarate.
Approccio
AceMQ ha strumentato il numero di segmenti e i tempi di scansione per singola query, per distinguere le query davvero onerose da quelle che pagavano l'overhead di segmenti frammentati. Il supporto ha poi coperto sia la risposta operativa ai timeout sia il lavoro strutturale necessario per smettere di generarli.
Soluzione
- Strumentazione del numero di segmenti e dei tempi di scansione per query, per separare il lavoro reale dall'overhead per segmento
- Individuazione dei datasource con segmenti frammentati e pianificazione della compaction per riportarli nell'intervallo di dimensioni previsto
- Nuovo tuning del numero di thread di elaborazione dei nodi historical e del dimensionamento dei buffer in base ai tipi di istanza sottostanti
- Correzione della configurazione della cache di broker e historical, che si annullava da sola sui pattern ad alto volume
- Definizione di policy di timeout, priorità e laning delle query, così che le query ad hoc pesanti non possano lasciare a secco le dashboard
- Escalation 24/7 verso ingegneri Druid senior, senza triage di livello 1 nel percorso
Esito
Con l'eliminazione della frammentazione dei segmenti, i timeout del broker sono diventati rari e la latenza p99 delle dashboard si è circa dimezzata. Il laning delle query impedisce alle analisi ad hoc pesanti di influire sul percorso rivolto ai clienti, anche quando vengono eseguite in orario lavorativo.