Voltar para todos os casos de uso

ConsultoriaMultissetorial

Um design de shard key que distribui as gravações em vez de concentrá-las

Fornecedor de tecnologia para logística e frete

Redesenho de uma shard key monotonicamente crescente que concentrava todos os inserts em um único shard e gerava jumbo chunks que não podiam ser divididos.

Visão geral

Uma plataforma de rastreamento de cargas tinha feito o sharding da sua maior collection com uma chave derivada de timestamp. Todos os inserts caíam no mesmo intervalo de chunks, então um único shard absorvia toda a carga de gravação enquanto os outros ficavam ociosos. Vários chunks também tinham ultrapassado o limite de divisão em valores de baixa cardinalidade e estavam presos como jumbo chunks que o balancer se recusava a mover.

Desafio

Mudar a shard key de uma collection ativa com vários terabytes não é uma simples mudança de configuração. O projeto precisava chegar a uma chave que distribuísse as gravações, continuasse atendendo aos padrões de consulta predominantes da plataforma sem scatter-gather e pudesse ser adotada por um caminho de migração que não exigisse uma janela de manutenção prolongada.

Ambiente

Cluster MongoDB com sharding distribuído entre hardware on-premises e capacidade em nuvem, sustentando o rastreamento de remessas e a telemetria.

Abordagem

A AceMQ levantou o mix real de consultas a partir do slow query log e do código da aplicação, e não dos padrões de acesso documentados, que estavam defasados. As chaves candidatas foram avaliadas quanto à distribuição das gravações, à proporção entre consultas direcionadas e broadcast e à cardinalidade dos chunks, e depois validadas em uma cópia restaurada da produção antes de qualquer proposta de mudança.

Solução

  1. Análise dos formatos reais de consulta e da distribuição das gravações por shard para estabelecer o padrão de acesso real, e não o documentado
  2. Avaliação de shard keys compostas e hashed candidatas quanto à distribuição das gravações, ao direcionamento das consultas e à cardinalidade dos chunks
  3. Validação da chave recomendada em uma cópia restaurada em escala de produção antes de fechar o plano
  4. Design de uma migração em fases usando resharding, com checkpoints definidos e um ponto de rollback em cada etapa
  5. Resolução dos jumbo chunks existentes e correção da configuração de zones que tinha fixado intervalos nos shards errados
  6. Documentação das janelas do balancer e das configurações de tamanho de chunk alinhadas ao perfil de ingestão da plataforma

Resultado obtido

O tráfego de gravação passou a se distribuir por todos os shards em vez de se concentrar em um só, e o cluster recuperou a capacidade de escalar horizontalmente com a adição de shards. As consultas broadcast caíram substancialmente, já que a nova chave manteve direcionados os padrões de leitura predominantes.

Tecnologias

MongoDBKubernetesKafkaTerraform

Precisa de orientação de arquitetura para MongoDB?

Os engenheiros MongoDB sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.