Volver a todos los casos de uso

RemediaciónMultisectorial

Volver a sincronizar las réplicas y mantenerlas así

Operador de marketplace de comercio electrónico

Resolución de un retraso de las réplicas que llegaba a horas durante las ventanas de procesos por lotes porque la aplicación en un solo hilo no podía seguir el ritmo de grandes transacciones de varias filas.

Descripción general

Un operador de marketplace servía la búsqueda de productos y los informes desde réplicas de lectura. Durante la conciliación nocturna del inventario, el retraso de las réplicas crecía hasta el punto de que las lecturas devolvían datos obsoletos que los clientes llegaban a notar. Se contrató a AceMQ para encontrar y corregir la causa.

Reto

El flujo de replicación contenía transacciones individuales muy grandes procedentes de procesos por lotes, y la aplicación en la réplica quedaba en la práctica serializada detrás de ellas. El binary log basado en filas aumentaba todavía más el volumen, porque el proceso por lotes actualizaba filas muy anchas. El tráfico de lectura se enviaba a las réplicas sin tener en cuenta su retraso, de modo que los datos obsoletos llegaban a la aplicación sin que nadie lo advirtiera hasta que los clientes lo notificaban.

Entorno

Topología de origen y réplicas de MySQL en AWS que da servicio a cargas de trabajo de catálogo, búsqueda e informes.

Enfoque

AceMQ instrumentó el rendimiento de aplicación por separado de la entrega por red para determinar dónde se acumulaba el retraso y después atacó ambos frentes: hacer que el flujo de escritura fuera más fácil de aplicar en paralelo y que la capa de lectura tuviera en cuenta el retraso para que no se pudieran servir datos obsoletos sin advertirlo.

Solución

  1. Separación del retraso de entrega por red y del retraso de aplicación para confirmar que el cuello de botella estaba en la aplicación en la réplica y no en el transporte
  2. Activación de la replicación en paralelo con seguimiento de dependencias basado en writesets y dimensionamiento de los hilos de trabajo según el hardware
  3. División de los procesos por lotes en transacciones de tamaño acotado para que una sola sentencia no pudiera serializar el flujo de aplicación
  4. Revisión del formato del binary log y de la configuración de la imagen de fila para reducir el volumen de replicación de las actualizaciones de filas anchas
  5. Configuración en el proxy de un enrutamiento de lecturas que tiene en cuenta el retraso, de modo que las réplicas que superan un umbral salen del pool de lectura
  6. Alertas específicas sobre el retraso de aplicación, independientes de la métrica de segundos por detrás del origen que ya existía

Resultado final

El retraso máximo de las réplicas durante las ventanas de procesos por lotes pasó de horas a bastante menos de un minuto, y las lecturas obsoletas dejaron de llegar a los clientes. El enrutamiento consciente del retraso falla ahora de forma segura incluso cuando una réplica se queda atrás.

Tecnologías

MySQLProxySQLPrometheusLinux

¿Se enfrenta a un problema de MySQL en producción?

Los ingenieros sénior de MySQL de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.