Visão geral
O armazenamento em camadas move os segmentos de log fechados para o armazenamento de objetos e mantém a janela recente no disco local, o que desvincula a retenção do tamanho do NVMe provisionado. A AceMQ avalia se os padrões de leitura justificam essa abordagem e desenha a configuração e o dimensionamento com base no comportamento medido.
Desafio
Equipes com um requisito de retenção de vários meses ou anos acabam superprovisionando o disco local em todos os brokers ou encurtando a retenção e perdendo a capacidade de replay. O armazenamento em camadas resolve isso, mas só se a janela de cache local corresponder à forma como os consumidores realmente leem: um job de reconstrução que faz replay desde o início de um tópico puxa grandes volumes do armazenamento de objetos, e os custos de requisições e de egress resultantes surpreendem quem não os modelou.
Ambiente
Clusters Redpanda em Kubernetes ou em instâncias de nuvem com NVMe local e armazenamento de objetos compatível com S3, atendendo tanto consumidores em streaming quanto replays históricos periódicos.
Abordagem
A AceMQ acompanha ao longo do tempo os offsets de leitura dos consumidores para medir até onde eles realmente voltam e com que frequência, o que determina a janela de cache local. Em seguida, a retenção de cada tópico é dividida entre uma camada local quente e uma camada fria em armazenamento de objetos, e o custo de leitura remota é modelado sobre os padrões reais de replay, e não sobre o pior cenário.
Solução
- Análise dos offsets de leitura dos consumidores para medir a janela real de dados recentes e a frequência de replays históricos profundos
- Divisão da retenção de cada tópico entre a camada local quente e a camada remota em armazenamento de objetos
- Dimensionamento do disco local e do cache a partir da janela quente medida, com folga para eventos de consumer lag
- Modelagem dos custos de requisições, egress e ciclo de vida do armazenamento de objetos sobre os padrões reais de replay, e não sobre o pior cenário
- Validação do desempenho de leitura remota para os jobs de lote e de analytics que fazem replay a partir da camada fria
- Validação dos procedimentos de recuperação e de recriação de tópicos a partir da camada remota, incluindo a reconstrução do cluster a partir do armazenamento de objetos
Resultado obtido
Os clientes ampliam a retenção em uma ordem de grandeza sem um aumento proporcional do armazenamento local, e o modelo de custos reflete o comportamento de leitura medido. Os procedimentos de recuperação são validados antes de serem necessários, e não durante um incidente.