Volver a todos los casos de uso

SoporteSalud / Beneficios

Soporte 24/7 para replica sets con ingenieros sénior asignados y sin triaje de nivel 1

Proveedor de analítica de salud

Soporte continuo para replica sets en los que una ventana de oplog demasiado corta obligaba a repetir initial syncs completos de los secundarios durante las cargas batch nocturnas.

Descripción general

Un proveedor de analítica ejecutaba cargas ETL nocturnas que generaban mucho más volumen de oplog que el tráfico habitual. Cualquier secundario que se atrasara durante la ventana de carga quedaba fuera del oplog y caía en un initial sync completo, que luego competía con la carga de la noche siguiente. AceMQ asumió el soporte de los replica sets con ingenieros sénior asignados y escalamiento directo.

Desafío

El oplog se había dimensionado con el porcentaje de disco predeterminado al crear el clúster y nunca se había revisado. Las actualizaciones masivas que reescribían documentos completos amplificaban el volumen del oplog muy por encima del tamaño de los campos modificados, y un solo secundario atrasado podía desencadenar una cascada de resincronizaciones que dejaba al replica set sin una réplica de lectura sana durante buena parte de un día hábil.

Entorno

Replica sets de MongoDB administrados en AWS, con ingesta batch nocturna desde un data warehouse clínico aguas arriba.

Enfoque

AceMQ midió la rotación real del oplog durante una ventana batch completa en lugar de basarse en promedios, y luego dimensionó el oplog para cubrir la peor ventana observada con margen. En paralelo, los ingenieros rediseñaron las escrituras batch para reducir la amplificación del oplog y elaboraron un runbook para que el personal on-call pudiera recuperar un secundario atrasado sin un resync completo.

Solución

  1. Medición de la tasa pico de generación del oplog durante una ventana batch completa para dimensionarlo según el peor caso y no según el promedio
  2. Redimensionamiento del oplog en línea y validación de la ventana de replicación resultante bajo carga
  3. Conversión de las reescrituras de documentos completos del ETL en actualizaciones de campos específicos para reducir la amplificación del oplog
  4. Escalonamiento de la concurrencia de las cargas batch para que los secundarios pudieran seguir el ritmo de escritura del primario
  5. Redacción de un runbook de recuperación que cubre los secundarios atrasados, los archivos de rollback y los casos en que un resync es realmente necesario
  6. Configuración de alertas de lag de replicación y de ventana del oplog vinculadas a la ruta de escalamiento 24/7

Resultado final

Se eliminó el resync nocturno recurrente y el replica set ahora mantiene una ventana de replicación que se mide en días y no en horas. El equipo on-call del cliente resuelve la mayoría de los eventos de lag con el runbook, sin necesidad de escalar.

Tecnologías

MongoDBKubernetesTerraformPrometheus

¿Necesita soporte experto de MongoDB?

Los ingenieros sénior de MongoDB de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.