Voltar para todos os casos de uso

AvaliaçãoSoftware / plataformas digitais

Pare de dimensionar NVMe local para dados que você lê uma vez por trimestre

Provedor de plataforma de dispositivos conectados

Design de armazenamento em camadas para retenção longa, para que os dados históricos fiquem em armazenamento de objetos sem que o disco local determine por quanto tempo você pode mantê-los.

Visão geral

O armazenamento em camadas move os segmentos de log fechados para o armazenamento de objetos e mantém a janela recente no disco local, o que desvincula a retenção do tamanho do NVMe provisionado. A AceMQ avalia se os padrões de leitura justificam essa abordagem e desenha a configuração e o dimensionamento com base no comportamento medido.

Desafio

Equipes com um requisito de retenção de vários meses ou anos acabam superprovisionando o disco local em todos os brokers ou encurtando a retenção e perdendo a capacidade de replay. O armazenamento em camadas resolve isso, mas só se a janela de cache local corresponder à forma como os consumidores realmente leem: um job de reconstrução que faz replay desde o início de um tópico puxa grandes volumes do armazenamento de objetos, e os custos de requisições e de egress resultantes surpreendem quem não os modelou.

Ambiente

Clusters Redpanda em Kubernetes ou em instâncias de nuvem com NVMe local e armazenamento de objetos compatível com S3, atendendo tanto consumidores em streaming quanto replays históricos periódicos.

Abordagem

A AceMQ acompanha ao longo do tempo os offsets de leitura dos consumidores para medir até onde eles realmente voltam e com que frequência, o que determina a janela de cache local. Em seguida, a retenção de cada tópico é dividida entre uma camada local quente e uma camada fria em armazenamento de objetos, e o custo de leitura remota é modelado sobre os padrões reais de replay, e não sobre o pior cenário.

Solução

  1. Análise dos offsets de leitura dos consumidores para medir a janela real de dados recentes e a frequência de replays históricos profundos
  2. Divisão da retenção de cada tópico entre a camada local quente e a camada remota em armazenamento de objetos
  3. Dimensionamento do disco local e do cache a partir da janela quente medida, com folga para eventos de consumer lag
  4. Modelagem dos custos de requisições, egress e ciclo de vida do armazenamento de objetos sobre os padrões reais de replay, e não sobre o pior cenário
  5. Validação do desempenho de leitura remota para os jobs de lote e de analytics que fazem replay a partir da camada fria
  6. Validação dos procedimentos de recuperação e de recriação de tópicos a partir da camada remota, incluindo a reconstrução do cluster a partir do armazenamento de objetos

Resultado obtido

Os clientes ampliam a retenção em uma ordem de grandeza sem um aumento proporcional do armazenamento local, e o modelo de custos reflete o comportamento de leitura medido. Os procedimentos de recuperação são validados antes de serem necessários, e não durante um incidente.

Tecnologias

RedpandaApache KafkaKubernetesApache Spark

Pronto para um health check do Redpanda?

Os engenheiros Redpanda sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.