Visão geral
Um fornecedor de análise de dados para o retalho disponibilizava aos seus próprios clientes dashboards suportados pelo Druid, pelo que a latência das consultas era uma característica do produto, e não uma preocupação interna. Os timeouts no broker surgiam de forma imprevisível e resistiam às tentativas da equipa para os reproduzir. A AceMQ assumiu o suporte com engenheiros seniores designados e escalamento direto.
Desafio
A latência das consultas no Druid depende de quantos segmentos uma consulta toca, de quão bem esses segmentos estão dimensionados, de os resultados virem ou não da cache e de haver ou não contenção nas threads de processamento dos historicals. Os timeouts coincidiam com datasources cujos segmentos eram, ao mesmo tempo, demasiado numerosos e demasiado pequenos, o que fazia com que a sobrecarga por segmento dominasse o trabalho real. A configuração da cache também se anulava a si própria nos padrões de consulta de maior volume.
Ambiente
Apache Druid na AWS a servir dashboards de análise para clientes, com expectativas de latência publicadas.
Abordagem
A AceMQ instrumentou o número de segmentos e os tempos de leitura por consulta para distinguir as consultas genuinamente dispendiosas das que pagavam sobrecarga em segmentos fragmentados. O suporte cobriu depois tanto a resposta operacional aos timeouts como o trabalho estrutural necessário para deixar de os gerar.
Solução
- Instrumentação do número de segmentos e dos tempos de leitura por consulta para separar o trabalho real da sobrecarga por segmento
- Identificação dos datasources com segmentos fragmentados e agendamento de compactação para os trazer para o intervalo de tamanho pretendido
- Nova afinação do número de threads de processamento dos historicals e do dimensionamento dos buffers face aos tipos de instância subjacentes
- Correção da configuração de cache dos brokers e dos historicals, que se anulava a si própria nos padrões de maior volume
- Definição de políticas de timeout, prioridade e laning das consultas, para que consultas ad hoc pesadas não deixem os dashboards sem recursos
- Escalamento 24/7 para engenheiros seniores de Druid, sem triagem de nível 1 pelo meio
Resultado final
Os timeouts no broker tornaram-se raros e a latência p99 dos dashboards caiu para cerca de metade à medida que a fragmentação dos segmentos foi eliminada. O laning das consultas impede que as análises ad hoc pesadas afetem o caminho voltado para os clientes, mesmo quando correm em horário de expediente.