Voltar para todos os casos de uso

SuporteSaúde / benefícios

Suporte 24/7 a replica sets com engenheiros sêniores designados e sem triagem de nível 1

Provedor de analytics para a área da saúde

Suporte contínuo para replica sets em que uma janela de oplog curta forçava initial syncs completos e repetidos dos secundários durante as cargas em lote noturnas.

Visão geral

Um provedor de analytics rodava cargas de ETL noturnas que geravam muito mais volume de oplog do que o tráfego em regime normal. Qualquer secundário que ficasse para trás durante a janela de carga saía do oplog e caía em um initial sync completo, que então competia com a carga da noite seguinte. A AceMQ assumiu o suporte aos replica sets com engenheiros sêniores designados e escalonamento direto.

Desafio

O oplog tinha sido dimensionado pelo percentual padrão do disco na criação do cluster e nunca tinha sido revisto. Atualizações em massa que reescreviam documentos inteiros multiplicavam o volume de oplog muito além do tamanho dos campos alterados, e um único secundário atrasado podia disparar uma cascata de ressincronizações que deixava o replica set sem uma réplica de leitura saudável durante a maior parte de um dia útil.

Ambiente

Replica sets MongoDB gerenciados na AWS, com ingestão noturna em lote a partir de um data warehouse clínico upstream.

Abordagem

A AceMQ mediu a movimentação real do oplog durante uma janela de carga completa, em vez de se basear em médias, e dimensionou o oplog para cobrir a pior janela observada, com folga. Em paralelo, os engenheiros reformularam as escritas em lote para reduzir a multiplicação do oplog e criaram um runbook para que o plantão pudesse recuperar um secundário atrasado sem um resync completo.

Solução

  1. Medição da taxa de geração de oplog no pico ao longo de uma janela de carga completa, para dimensionar o oplog pelo pior caso, e não pela média
  2. Redimensionamento do oplog online e validação da janela de replicação resultante sob carga
  3. Conversão das reescritas de documentos inteiros no ETL em atualizações de campos específicos, para reduzir a multiplicação do oplog
  4. Escalonamento da concorrência das cargas em lote para que os secundários conseguissem acompanhar o throughput de escrita do primário
  5. Elaboração de um runbook de recuperação cobrindo secundários atrasados, arquivos de rollback e quando um resync é realmente necessário
  6. Configuração de alertas de atraso de replicação e de janela de oplog vinculados ao caminho de escalonamento 24/7

Resultado obtido

O resync noturno recorrente foi eliminado, e o replica set agora mantém uma janela de replicação medida em dias, e não em horas. A equipe de plantão do cliente resolve a maioria dos eventos de atraso pelo runbook, sem precisar escalar.

Tecnologias

MongoDBKubernetesTerraformPrometheus

Precisa de suporte especializado em MongoDB?

Os engenheiros MongoDB sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.