Voltar para todos os casos de uso

CorreçãoSoftware / plataformas digitais

Trazer a ingestão em tempo real de volta para dentro do orçamento de latência

Exchange de publicidade digital

Resolução do lag do supervisor Kafka causado pelo esgotamento de task slots, por tasks de ingestão grandes demais e por falhas de handoff para o deep storage.

Visão geral

Uma exchange de publicidade dependia do Druid para análises de lances quase em tempo real. Durante os picos de tráfego, o lag do supervisor Kafka passava de segundos para horas, então os dashboards usados pelos traders mostravam dados desatualizados justamente quando mais importava. A AceMQ foi acionada pelo SLA emergencial.

Desafio

O lag tinha várias origens que se somavam. Os task slots dos Middle Managers estavam esgotados porque as tasks de ingestão demoravam demais e seguravam slots de que as tasks pendentes precisavam. Os segments produzidos por essas tasks eram grandes demais, então o handoff para o deep storage e o carregamento nos historicals eram lentos. As tasks com falha eram reenviadas para o mesmo pool de slots saturado.

Ambiente

Apache Druid no Kubernetes ingerindo streams de lances e impressões do Kafka para análises em tempo real.

Abordagem

A AceMQ rastreou o pipeline de ingestão de ponta a ponta (supervisor, atribuição de tasks, publicação de segments, handoff e carregamento nos historicals) para descobrir onde o tempo realmente se acumulava, em vez de ajustar o supervisor isoladamente. A capacidade e o formato das tasks foram corrigidos em conjunto, já que corrigir um sem o outro apenas muda a fila de lugar.

Solução

  1. Rastreamento de todo o caminho de ingestão, do supervisor ao handoff e ao carregamento nos historicals, para localizar o atraso real
  2. Rebalanceamento da capacidade de workers dos Middle Managers e da alocação de task slots de acordo com a demanda real de tasks simultâneas
  3. Ajuste da duração das tasks e da granularidade dos segments para que as tasks liberem slots em um ritmo previsível
  4. Correção do tamanho dos segments para que o handoff e o carregamento nos historicals terminem dentro da janela de ingestão
  5. Separação da capacidade de ingestão por streaming da capacidade das tasks de batch e de compactação, para que deixassem de competir
  6. Instrumentação do lag do supervisor, do uso de task slots e da duração do handoff como sinais distintos, com alertas próprios

Resultado obtido

O lag de ingestão voltou à faixa de segundos e se manteve assim durante os picos de tráfego. Os dashboards dos traders agora mostram dados atuais nos momentos em que são de fato usados.

Tecnologias

Apache DruidKafkaKubernetesPrometheus

Enfrentando um problema de produção com Apache Druid?

Os engenheiros Apache Druid sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.