Descripción general
Un operador de marketplace servía la búsqueda de productos y los informes desde réplicas de lectura. Durante la conciliación nocturna del inventario, el retraso de las réplicas crecía hasta el punto de que las lecturas devolvían datos obsoletos que los clientes llegaban a notar. Se contrató a AceMQ para encontrar y corregir la causa.
Reto
El flujo de replicación contenía transacciones individuales muy grandes procedentes de procesos por lotes, y la aplicación en la réplica quedaba en la práctica serializada detrás de ellas. El binary log basado en filas aumentaba todavía más el volumen, porque el proceso por lotes actualizaba filas muy anchas. El tráfico de lectura se enviaba a las réplicas sin tener en cuenta su retraso, de modo que los datos obsoletos llegaban a la aplicación sin que nadie lo advirtiera hasta que los clientes lo notificaban.
Entorno
Topología de origen y réplicas de MySQL en AWS que da servicio a cargas de trabajo de catálogo, búsqueda e informes.
Enfoque
AceMQ instrumentó el rendimiento de aplicación por separado de la entrega por red para determinar dónde se acumulaba el retraso y después atacó ambos frentes: hacer que el flujo de escritura fuera más fácil de aplicar en paralelo y que la capa de lectura tuviera en cuenta el retraso para que no se pudieran servir datos obsoletos sin advertirlo.
Solución
- Separación del retraso de entrega por red y del retraso de aplicación para confirmar que el cuello de botella estaba en la aplicación en la réplica y no en el transporte
- Activación de la replicación en paralelo con seguimiento de dependencias basado en writesets y dimensionamiento de los hilos de trabajo según el hardware
- División de los procesos por lotes en transacciones de tamaño acotado para que una sola sentencia no pudiera serializar el flujo de aplicación
- Revisión del formato del binary log y de la configuración de la imagen de fila para reducir el volumen de replicación de las actualizaciones de filas anchas
- Configuración en el proxy de un enrutamiento de lecturas que tiene en cuenta el retraso, de modo que las réplicas que superan un umbral salen del pool de lectura
- Alertas específicas sobre el retraso de aplicación, independientes de la métrica de segundos por detrás del origen que ya existía
Resultado final
El retraso máximo de las réplicas durante las ventanas de procesos por lotes pasó de horas a bastante menos de un minuto, y las lecturas obsoletas dejaron de llegar a los clientes. El enrutamiento consciente del retraso falla ahora de forma segura incluso cuando una réplica se queda atrás.