Visão geral
Um provedor de analytics para varejo expunha dashboards apoiados no Druid aos próprios clientes, então a latência das consultas era uma característica do produto, e não uma questão interna. Os timeouts no broker apareciam de forma imprevisível e resistiam às tentativas da equipe de reproduzi-los. A AceMQ assumiu o suporte com engenheiros sêniores designados e escalonamento direto.
Desafio
A latência das consultas no Druid depende de quantos segments uma consulta toca, de quão bem esses segments estão dimensionados, de os resultados virem ou não do cache e de haver contenção nas processing threads dos Historicals. Os timeouts estavam correlacionados com datasources cujos segments eram ao mesmo tempo numerosos demais e pequenos demais, o que fazia o overhead por segment dominar o trabalho real. A configuração do cache também estava anulando a si mesma nos padrões de consulta de maior volume.
Ambiente
Apache Druid na AWS atendendo dashboards de analytics voltados aos clientes, com expectativas de latência publicadas.
Abordagem
A AceMQ instrumentou a contagem de segments e os tempos de varredura por consulta para distinguir as consultas realmente caras das que pagavam overhead em segments fragmentados. O suporte passou então a cobrir tanto a resposta operacional aos timeouts quanto o trabalho estrutural necessário para parar de gerá-los.
Solução
- Instrumentação da contagem de segments e dos tempos de varredura por consulta para separar o trabalho real do overhead por segment
- Identificação dos datasources com segments fragmentados e agendamento de compaction para trazê-los à faixa de tamanho-alvo
- Novo ajuste da quantidade de processing threads e do dimensionamento dos buffers dos Historicals em relação aos tipos de instância utilizados
- Correção da configuração de cache do broker e dos Historicals, que vinha anulando a si mesma nos padrões de alto volume
- Definição de políticas de timeout, prioridade e laning de consultas para que consultas ad hoc pesadas não deixem os dashboards sem recursos
- Escalonamento 24/7 para engenheiros sêniores de Druid, sem triagem nível 1 no caminho
Resultado obtido
Os timeouts no broker passaram a ser raros, e a latência p99 dos dashboards caiu aproximadamente pela metade à medida que a fragmentação dos segments foi eliminada. O laning de consultas impede que análises ad hoc pesadas afetem o caminho voltado aos clientes, mesmo quando rodam em horário comercial.