Visão geral
O cluster Druid de uma operadora de telecomunicações tinha acumulado anos de telemetria de rede sem nenhuma política de compaction. A contagem de segmentos tinha chegado aos milhões, o trabalho do coordinator crescia junto, e cada consulta pagava um overhead proporcional ao número de segmentos, e não ao volume de dados. A AceMQ desenhou uma estratégia de granularidade e compaction.
Desafio
A ingestão em streaming produz naturalmente segmentos pequenos, dimensionados pela janela de ingestão, e não pelo que as consultas precisam. Sem compaction, esses segmentos permanecem indefinidamente. O redesenho precisava escolher granularidades alinhadas aos intervalos de tempo reais das consultas, definir um particionamento secundário que melhorasse o pruning e agendar a compaction de modo que ela não disputasse capacidade de tarefas com a ingestão.
Ambiente
Cluster Apache Druid on-premises armazenando vários anos de telemetria de desempenho da rede e de assinantes.
Abordagem
A AceMQ analisou a distribuição dos intervalos de tempo das consultas em cada datasource para escolher granularidades de segmento alinhadas à forma como os dados eram realmente consultados e, depois, desenhou a auto-compaction com reservas explícitas de capacidade de tarefas, para que ela rodasse continuamente sem sufocar a ingestão.
Solução
- Análise da distribuição dos intervalos de tempo das consultas por datasource, para escolher a granularidade de segmento com base em evidências, e não em convenção
- Definição de particionamento secundário nas dimensões mais usadas como filtro nas consultas, melhorando o pruning dentro dos segmentos
- Configuração da auto-compaction com tamanhos-alvo de segmento e capacidade de tarefas reservada explicitamente
- Agendamento da compaction do backlog histórico em fases limitadas, para não sobrecarregar o cluster
- Definição da política de rollup e de agregação de métricas por datasource, reduzindo o tamanho dos segmentos onde a granularidade das consultas permite
- Inclusão da contagem de segmentos e do tamanho médio de segmento por datasource como métricas operacionais acompanhadas
Resultado obtido
A contagem de segmentos caiu drasticamente à medida que o backlog foi compactado, e a auto-compaction agora a mantém estável conforme novos dados chegam. A carga do coordinator diminuiu, e o overhead das consultas passou a escalar com o volume de dados, e não com o número de segmentos.