Voltar para todos os casos de uso

SuporteMultissetorial

Engenheiros sêniores designados de plantão para incidentes de consultas e de broker no Druid

Provedor de analytics para varejo

Suporte contínuo para timeouts no broker e latência de consultas imprevisível causados pelo dimensionamento dos segments, pelo comportamento do cache e pela contenção das processing threads.

Visão geral

Um provedor de analytics para varejo expunha dashboards apoiados no Druid aos próprios clientes, então a latência das consultas era uma característica do produto, e não uma questão interna. Os timeouts no broker apareciam de forma imprevisível e resistiam às tentativas da equipe de reproduzi-los. A AceMQ assumiu o suporte com engenheiros sêniores designados e escalonamento direto.

Desafio

A latência das consultas no Druid depende de quantos segments uma consulta toca, de quão bem esses segments estão dimensionados, de os resultados virem ou não do cache e de haver contenção nas processing threads dos Historicals. Os timeouts estavam correlacionados com datasources cujos segments eram ao mesmo tempo numerosos demais e pequenos demais, o que fazia o overhead por segment dominar o trabalho real. A configuração do cache também estava anulando a si mesma nos padrões de consulta de maior volume.

Ambiente

Apache Druid na AWS atendendo dashboards de analytics voltados aos clientes, com expectativas de latência publicadas.

Abordagem

A AceMQ instrumentou a contagem de segments e os tempos de varredura por consulta para distinguir as consultas realmente caras das que pagavam overhead em segments fragmentados. O suporte passou então a cobrir tanto a resposta operacional aos timeouts quanto o trabalho estrutural necessário para parar de gerá-los.

Solução

  1. Instrumentação da contagem de segments e dos tempos de varredura por consulta para separar o trabalho real do overhead por segment
  2. Identificação dos datasources com segments fragmentados e agendamento de compaction para trazê-los à faixa de tamanho-alvo
  3. Novo ajuste da quantidade de processing threads e do dimensionamento dos buffers dos Historicals em relação aos tipos de instância utilizados
  4. Correção da configuração de cache do broker e dos Historicals, que vinha anulando a si mesma nos padrões de alto volume
  5. Definição de políticas de timeout, prioridade e laning de consultas para que consultas ad hoc pesadas não deixem os dashboards sem recursos
  6. Escalonamento 24/7 para engenheiros sêniores de Druid, sem triagem nível 1 no caminho

Resultado obtido

Os timeouts no broker passaram a ser raros, e a latência p99 dos dashboards caiu aproximadamente pela metade à medida que a fragmentação dos segments foi eliminada. O laning de consultas impede que análises ad hoc pesadas afetem o caminho voltado aos clientes, mesmo quando rodam em horário comercial.

Tecnologias

Apache DruidKafkaKubernetesPrometheus

Precisa de suporte especializado em Apache Druid?

Os engenheiros Apache Druid sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.