Volver a todos los casos de uso

SoporteSanidad / Beneficios sociales

Soporte 24/7 para replica sets con ingenieros sénior asignados y sin triaje de nivel 1

Proveedor de analítica sanitaria

Soporte continuo para replica sets en los que una ventana de oplog demasiado corta obligaba a repetir initial syncs completos de los secundarios durante las cargas por lotes nocturnas.

Descripción general

Un proveedor de analítica ejecutaba cargas ETL nocturnas que generaban mucho más volumen de oplog que el tráfico habitual. Cualquier secundario que se quedaba atrás durante la ventana de carga se salía del oplog y caía en un initial sync completo, que después competía con la carga de la noche siguiente. AceMQ asumió el soporte de los replica sets con ingenieros sénior asignados y escalado directo.

Reto

El oplog se había dimensionado con el porcentaje de disco por defecto al crear el clúster y nunca se había revisado. Las actualizaciones masivas que reescribían documentos completos multiplicaban el volumen del oplog muy por encima del tamaño de los campos modificados, y un solo secundario rezagado podía desencadenar una cascada de resincronizaciones que dejaba el conjunto sin una réplica de lectura sana durante la mayor parte de una jornada laboral.

Entorno

Replica sets de MongoDB gestionados en AWS con ingesta por lotes nocturna desde un data warehouse clínico de origen.

Enfoque

AceMQ midió la rotación real del oplog durante una ventana completa de procesamiento por lotes en lugar de basarse en promedios, y después dimensionó el oplog para cubrir la peor ventana observada con margen. En paralelo, los ingenieros rehicieron las escrituras por lotes para reducir la amplificación del oplog y elaboraron un runbook para que el personal de guardia pudiera recuperar un secundario rezagado sin una resincronización completa.

Solución

  1. Medición de la tasa máxima de generación de oplog durante una ventana de lotes completa para dimensionar el oplog según el peor caso y no el promedio
  2. Redimensionamiento del oplog en caliente y validación de la ventana de replicación resultante bajo carga
  3. Conversión de las reescrituras de documentos completos del ETL en actualizaciones de campos concretos para reducir la amplificación del oplog
  4. Escalonamiento de la concurrencia de las cargas por lotes para que los secundarios pudieran seguir el ritmo de escritura del primario
  5. Redacción de un runbook de recuperación que abarca los secundarios rezagados, los ficheros de rollback y los casos en que una resincronización es realmente necesaria
  6. Alertas sobre el retraso de replicación y la ventana del oplog vinculadas a la ruta de escalado 24/7

Resultado final

La resincronización nocturna recurrente desapareció y el replica set mantiene ahora una ventana de replicación de días en lugar de horas. El equipo de guardia del cliente resuelve la mayoría de los episodios de retraso con el runbook, sin necesidad de escalar.

Tecnologías

MongoDBKubernetesTerraformPrometheus

¿Necesita soporte experto de MongoDB?

Los ingenieros sénior de MongoDB de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.