Visão geral
Uma plataforma de rastreamento de cargas tinha feito o sharding da sua maior collection com uma chave derivada de timestamp. Todos os inserts caíam no mesmo intervalo de chunks, então um único shard absorvia toda a carga de gravação enquanto os outros ficavam ociosos. Vários chunks também tinham ultrapassado o limite de divisão em valores de baixa cardinalidade e estavam presos como jumbo chunks que o balancer se recusava a mover.
Desafio
Mudar a shard key de uma collection ativa com vários terabytes não é uma simples mudança de configuração. O projeto precisava chegar a uma chave que distribuísse as gravações, continuasse atendendo aos padrões de consulta predominantes da plataforma sem scatter-gather e pudesse ser adotada por um caminho de migração que não exigisse uma janela de manutenção prolongada.
Ambiente
Cluster MongoDB com sharding distribuído entre hardware on-premises e capacidade em nuvem, sustentando o rastreamento de remessas e a telemetria.
Abordagem
A AceMQ levantou o mix real de consultas a partir do slow query log e do código da aplicação, e não dos padrões de acesso documentados, que estavam defasados. As chaves candidatas foram avaliadas quanto à distribuição das gravações, à proporção entre consultas direcionadas e broadcast e à cardinalidade dos chunks, e depois validadas em uma cópia restaurada da produção antes de qualquer proposta de mudança.
Solução
- Análise dos formatos reais de consulta e da distribuição das gravações por shard para estabelecer o padrão de acesso real, e não o documentado
- Avaliação de shard keys compostas e hashed candidatas quanto à distribuição das gravações, ao direcionamento das consultas e à cardinalidade dos chunks
- Validação da chave recomendada em uma cópia restaurada em escala de produção antes de fechar o plano
- Design de uma migração em fases usando resharding, com checkpoints definidos e um ponto de rollback em cada etapa
- Resolução dos jumbo chunks existentes e correção da configuração de zones que tinha fixado intervalos nos shards errados
- Documentação das janelas do balancer e das configurações de tamanho de chunk alinhadas ao perfil de ingestão da plataforma
Resultado obtido
O tráfego de gravação passou a se distribuir por todos os shards em vez de se concentrar em um só, e o cluster recuperou a capacidade de escalar horizontalmente com a adição de shards. As consultas broadcast caíram substancialmente, já que a nova chave manteve direcionados os padrões de leitura predominantes.