Visão geral
Uma exchange de publicidade dependia do Druid para análises de lances quase em tempo real. Durante os picos de tráfego, o lag do supervisor Kafka passava de segundos para horas, então os dashboards usados pelos traders mostravam dados desatualizados justamente quando mais importava. A AceMQ foi acionada pelo SLA emergencial.
Desafio
O lag tinha várias origens que se somavam. Os task slots dos Middle Managers estavam esgotados porque as tasks de ingestão demoravam demais e seguravam slots de que as tasks pendentes precisavam. Os segments produzidos por essas tasks eram grandes demais, então o handoff para o deep storage e o carregamento nos historicals eram lentos. As tasks com falha eram reenviadas para o mesmo pool de slots saturado.
Ambiente
Apache Druid no Kubernetes ingerindo streams de lances e impressões do Kafka para análises em tempo real.
Abordagem
A AceMQ rastreou o pipeline de ingestão de ponta a ponta (supervisor, atribuição de tasks, publicação de segments, handoff e carregamento nos historicals) para descobrir onde o tempo realmente se acumulava, em vez de ajustar o supervisor isoladamente. A capacidade e o formato das tasks foram corrigidos em conjunto, já que corrigir um sem o outro apenas muda a fila de lugar.
Solução
- Rastreamento de todo o caminho de ingestão, do supervisor ao handoff e ao carregamento nos historicals, para localizar o atraso real
- Rebalanceamento da capacidade de workers dos Middle Managers e da alocação de task slots de acordo com a demanda real de tasks simultâneas
- Ajuste da duração das tasks e da granularidade dos segments para que as tasks liberem slots em um ritmo previsível
- Correção do tamanho dos segments para que o handoff e o carregamento nos historicals terminem dentro da janela de ingestão
- Separação da capacidade de ingestão por streaming da capacidade das tasks de batch e de compactação, para que deixassem de competir
- Instrumentação do lag do supervisor, do uso de task slots e da duração do handoff como sinais distintos, com alertas próprios
Resultado obtido
O lag de ingestão voltou à faixa de segundos e se manteve assim durante os picos de tráfego. Os dashboards dos traders agora mostram dados atuais nos momentos em que são de fato usados.