Visão geral
Uma empresa de energia mantinha sete anos de telemetria de medidores e da rede elétrica no Druid, com todos os segments em historicals idênticos e com o mesmo fator de replicação, independentemente da idade. O custo de infraestrutura crescia linearmente com a retenção, enquanto o volume de consultas sobre dados antigos era insignificante. A AceMQ avaliou as opções de tiering.
Desafio
O tiering só funciona se você conhece a distribuição real de acessos, e as suposições sobre ela costumam estar erradas: consultas regulatórias sobre dados antigos são raras, mas ainda precisam ser respondidas dentro de um prazo definido. A avaliação tinha de estabelecer os padrões reais de acesso por idade dos dados e, em seguida, determinar quais configurações de tiering preservavam o comportamento de consulta exigido a um custo menor.
Ambiente
Apache Druid distribuído entre hardware on-premises e object storage em nuvem, com retenção de vários anos de telemetria da rede elétrica e de medidores.
Abordagem
A AceMQ analisou os logs de consultas para construir uma distribuição de acessos por idade dos segments, em vez de depender das expectativas declaradas, e então modelou configurações de tiering considerando tanto o custo quanto o comportamento de consulta que cada uma produziria, incluindo os tempos de resposta na camada fria para os acessos regulatórios.
Solução
- Construção de uma distribuição de acessos por idade dos segments a partir dos logs reais de consultas, e não de suposições declaradas
- Modelagem de camadas de historicals quente, morna e fria, com load rules mapeadas para o padrão de acesso medido
- Avaliação de fatores de replicação reduzidos nas camadas frias em relação aos requisitos de disponibilidade e recuperação
- Avaliação da consulta direta ao deep storage como opção para os dados mais frios, com medição das suas características de resposta
- Revisão das regras de retenção e de drop em relação às obrigações regulatórias de retenção
- Entrega de um modelo de custo e desempenho para cada opção de tiering, com os trade-offs declarados explicitamente
Resultado obtido
A empresa passou a ter um plano de tiering baseado em acessos medidos, e não em suposições, com um caminho claro para reduzir o número de historicals mantendo as consultas regulatórias dentro do tempo de resposta exigido. Os trade-offs foram apresentados de antemão, em vez de descobertos depois da implementação.