Descripción general
Un proveedor de analítica ejecutaba cargas ETL nocturnas que generaban mucho más volumen de oplog que el tráfico habitual. Cualquier secundario que se atrasara durante la ventana de carga quedaba fuera del oplog y caía en un initial sync completo, que luego competía con la carga de la noche siguiente. AceMQ asumió el soporte de los replica sets con ingenieros sénior asignados y escalamiento directo.
Desafío
El oplog se había dimensionado con el porcentaje de disco predeterminado al crear el clúster y nunca se había revisado. Las actualizaciones masivas que reescribían documentos completos amplificaban el volumen del oplog muy por encima del tamaño de los campos modificados, y un solo secundario atrasado podía desencadenar una cascada de resincronizaciones que dejaba al replica set sin una réplica de lectura sana durante buena parte de un día hábil.
Entorno
Replica sets de MongoDB administrados en AWS, con ingesta batch nocturna desde un data warehouse clínico aguas arriba.
Enfoque
AceMQ midió la rotación real del oplog durante una ventana batch completa en lugar de basarse en promedios, y luego dimensionó el oplog para cubrir la peor ventana observada con margen. En paralelo, los ingenieros rediseñaron las escrituras batch para reducir la amplificación del oplog y elaboraron un runbook para que el personal on-call pudiera recuperar un secundario atrasado sin un resync completo.
Solución
- Medición de la tasa pico de generación del oplog durante una ventana batch completa para dimensionarlo según el peor caso y no según el promedio
- Redimensionamiento del oplog en línea y validación de la ventana de replicación resultante bajo carga
- Conversión de las reescrituras de documentos completos del ETL en actualizaciones de campos específicos para reducir la amplificación del oplog
- Escalonamiento de la concurrencia de las cargas batch para que los secundarios pudieran seguir el ritmo de escritura del primario
- Redacción de un runbook de recuperación que cubre los secundarios atrasados, los archivos de rollback y los casos en que un resync es realmente necesario
- Configuración de alertas de lag de replicación y de ventana del oplog vinculadas a la ruta de escalamiento 24/7
Resultado final
Se eliminó el resync nocturno recurrente y el replica set ahora mantiene una ventana de replicación que se mide en días y no en horas. El equipo on-call del cliente resuelve la mayoría de los eventos de lag con el runbook, sin necesidad de escalar.