Voltar para todos os casos de uso

AvaliaçãoEnergia / serviços públicos

Adequar a camada de armazenamento à frequência com que os dados são realmente lidos

Operadora de serviços de energia

Avaliação do tiering dos historicals, das regras de retenção e dos fatores de replicação para alinhar o custo de infraestrutura à forma como os dados são realmente consultados ao longo do tempo.

Visão geral

Uma empresa de energia mantinha sete anos de telemetria de medidores e da rede elétrica no Druid, com todos os segments em historicals idênticos e com o mesmo fator de replicação, independentemente da idade. O custo de infraestrutura crescia linearmente com a retenção, enquanto o volume de consultas sobre dados antigos era insignificante. A AceMQ avaliou as opções de tiering.

Desafio

O tiering só funciona se você conhece a distribuição real de acessos, e as suposições sobre ela costumam estar erradas: consultas regulatórias sobre dados antigos são raras, mas ainda precisam ser respondidas dentro de um prazo definido. A avaliação tinha de estabelecer os padrões reais de acesso por idade dos dados e, em seguida, determinar quais configurações de tiering preservavam o comportamento de consulta exigido a um custo menor.

Ambiente

Apache Druid distribuído entre hardware on-premises e object storage em nuvem, com retenção de vários anos de telemetria da rede elétrica e de medidores.

Abordagem

A AceMQ analisou os logs de consultas para construir uma distribuição de acessos por idade dos segments, em vez de depender das expectativas declaradas, e então modelou configurações de tiering considerando tanto o custo quanto o comportamento de consulta que cada uma produziria, incluindo os tempos de resposta na camada fria para os acessos regulatórios.

Solução

  1. Construção de uma distribuição de acessos por idade dos segments a partir dos logs reais de consultas, e não de suposições declaradas
  2. Modelagem de camadas de historicals quente, morna e fria, com load rules mapeadas para o padrão de acesso medido
  3. Avaliação de fatores de replicação reduzidos nas camadas frias em relação aos requisitos de disponibilidade e recuperação
  4. Avaliação da consulta direta ao deep storage como opção para os dados mais frios, com medição das suas características de resposta
  5. Revisão das regras de retenção e de drop em relação às obrigações regulatórias de retenção
  6. Entrega de um modelo de custo e desempenho para cada opção de tiering, com os trade-offs declarados explicitamente

Resultado obtido

A empresa passou a ter um plano de tiering baseado em acessos medidos, e não em suposições, com um caminho claro para reduzir o número de historicals mantendo as consultas regulatórias dentro do tempo de resposta exigido. Os trade-offs foram apresentados de antemão, em vez de descobertos depois da implementação.

Tecnologias

Apache DruidS3KubernetesPrometheus

Pronto para um health check do Apache Druid?

Os engenheiros Apache Druid sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.