Visão geral
Um provedor de analytics rodava cargas de ETL noturnas que geravam muito mais volume de oplog do que o tráfego em regime normal. Qualquer secundário que ficasse para trás durante a janela de carga saía do oplog e caía em um initial sync completo, que então competia com a carga da noite seguinte. A AceMQ assumiu o suporte aos replica sets com engenheiros sêniores designados e escalonamento direto.
Desafio
O oplog tinha sido dimensionado pelo percentual padrão do disco na criação do cluster e nunca tinha sido revisto. Atualizações em massa que reescreviam documentos inteiros multiplicavam o volume de oplog muito além do tamanho dos campos alterados, e um único secundário atrasado podia disparar uma cascata de ressincronizações que deixava o replica set sem uma réplica de leitura saudável durante a maior parte de um dia útil.
Ambiente
Replica sets MongoDB gerenciados na AWS, com ingestão noturna em lote a partir de um data warehouse clínico upstream.
Abordagem
A AceMQ mediu a movimentação real do oplog durante uma janela de carga completa, em vez de se basear em médias, e dimensionou o oplog para cobrir a pior janela observada, com folga. Em paralelo, os engenheiros reformularam as escritas em lote para reduzir a multiplicação do oplog e criaram um runbook para que o plantão pudesse recuperar um secundário atrasado sem um resync completo.
Solução
- Medição da taxa de geração de oplog no pico ao longo de uma janela de carga completa, para dimensionar o oplog pelo pior caso, e não pela média
- Redimensionamento do oplog online e validação da janela de replicação resultante sob carga
- Conversão das reescritas de documentos inteiros no ETL em atualizações de campos específicos, para reduzir a multiplicação do oplog
- Escalonamento da concorrência das cargas em lote para que os secundários conseguissem acompanhar o throughput de escrita do primário
- Elaboração de um runbook de recuperação cobrindo secundários atrasados, arquivos de rollback e quando um resync é realmente necessário
- Configuração de alertas de atraso de replicação e de janela de oplog vinculados ao caminho de escalonamento 24/7
Resultado obtido
O resync noturno recorrente foi eliminado, e o replica set agora mantém uma janela de replicação medida em dias, e não em horas. A equipe de plantão do cliente resolve a maioria dos eventos de atraso pelo runbook, sem precisar escalar.