Voltar a todos os casos de utilização

SuporteTransversal a vários setores

Engenheiros seniores designados de prevenção para incidentes de consultas e de brokers no Druid

Fornecedor de análise de dados para o retalho

Suporte contínuo para timeouts no broker e latência de consultas imprevisível, causados pelo dimensionamento dos segmentos, pelo comportamento da cache e pela contenção das threads de processamento.

Visão geral

Um fornecedor de análise de dados para o retalho disponibilizava aos seus próprios clientes dashboards suportados pelo Druid, pelo que a latência das consultas era uma característica do produto, e não uma preocupação interna. Os timeouts no broker surgiam de forma imprevisível e resistiam às tentativas da equipa para os reproduzir. A AceMQ assumiu o suporte com engenheiros seniores designados e escalamento direto.

Desafio

A latência das consultas no Druid depende de quantos segmentos uma consulta toca, de quão bem esses segmentos estão dimensionados, de os resultados virem ou não da cache e de haver ou não contenção nas threads de processamento dos historicals. Os timeouts coincidiam com datasources cujos segmentos eram, ao mesmo tempo, demasiado numerosos e demasiado pequenos, o que fazia com que a sobrecarga por segmento dominasse o trabalho real. A configuração da cache também se anulava a si própria nos padrões de consulta de maior volume.

Ambiente

Apache Druid na AWS a servir dashboards de análise para clientes, com expectativas de latência publicadas.

Abordagem

A AceMQ instrumentou o número de segmentos e os tempos de leitura por consulta para distinguir as consultas genuinamente dispendiosas das que pagavam sobrecarga em segmentos fragmentados. O suporte cobriu depois tanto a resposta operacional aos timeouts como o trabalho estrutural necessário para deixar de os gerar.

Solução

  1. Instrumentação do número de segmentos e dos tempos de leitura por consulta para separar o trabalho real da sobrecarga por segmento
  2. Identificação dos datasources com segmentos fragmentados e agendamento de compactação para os trazer para o intervalo de tamanho pretendido
  3. Nova afinação do número de threads de processamento dos historicals e do dimensionamento dos buffers face aos tipos de instância subjacentes
  4. Correção da configuração de cache dos brokers e dos historicals, que se anulava a si própria nos padrões de maior volume
  5. Definição de políticas de timeout, prioridade e laning das consultas, para que consultas ad hoc pesadas não deixem os dashboards sem recursos
  6. Escalamento 24/7 para engenheiros seniores de Druid, sem triagem de nível 1 pelo meio

Resultado final

Os timeouts no broker tornaram-se raros e a latência p99 dos dashboards caiu para cerca de metade à medida que a fragmentação dos segmentos foi eliminada. O laning das consultas impede que as análises ad hoc pesadas afetem o caminho voltado para os clientes, mesmo quando correm em horário de expediente.

Tecnologias

Apache DruidKafkaKubernetesPrometheus

Precisa de suporte Apache Druid especializado?

Os engenheiros seniores de Apache Druid da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.