Descripción general
Un operador de marketplace atendía la búsqueda de productos y los reportes desde réplicas de lectura. Durante la conciliación nocturna de inventario, el lag de las réplicas crecía hasta el punto de que las lecturas devolvían datos obsoletos que los clientes notaban. AceMQ fue contratada para encontrar y corregir la causa.
Desafío
El flujo de replicación contenía transacciones individuales muy grandes provenientes de jobs batch, y la aplicación en la réplica quedaba prácticamente serializada detrás de ellas. El binary logging basado en filas amplificaba aún más el volumen, porque el batch actualizaba filas anchas. El tráfico de lectura se enrutaba a las réplicas sin tener en cuenta el lag, de modo que los datos obsoletos llegaban a la aplicación sin que nadie lo notara hasta que los clientes lo reportaban.
Entorno
Topología de origen y réplicas de MySQL en AWS que soporta cargas de trabajo de catálogo, búsqueda y reportes.
Enfoque
AceMQ instrumentó el throughput de aplicación por separado de la entrega por red para establecer dónde se acumulaba el lag, y luego atacó ambos lados: hacer que el flujo de escrituras fuera más fácil de aplicar en paralelo y hacer que la capa de lectura tuviera en cuenta el lag para que no se pudieran servir datos obsoletos en silencio.
Solución
- Separación del lag de entrega por red y del lag de aplicación para confirmar que el cuello de botella era la aplicación en la réplica y no el transporte
- Habilitación de la replicación en paralelo con seguimiento de dependencias basado en writesets y dimensionamiento de los hilos de trabajo según el hardware
- División de los jobs batch en transacciones de tamaño acotado para que una sola sentencia no pudiera serializar el flujo de aplicación
- Revisión del formato del binary log y de la configuración de row image para reducir el volumen de replicación de las actualizaciones de filas anchas
- Configuración en el proxy de un enrutamiento de lecturas que tiene en cuenta el lag, de modo que las réplicas que superan un umbral salen del pool de lectura
- Alertas de lag de aplicación separadas de la métrica seconds-behind-source existente
Resultado final
El lag máximo de las réplicas durante las ventanas batch bajó de horas a bastante menos de un minuto, y las lecturas obsoletas dejaron de llegar a los clientes. El enrutamiento que tiene en cuenta el lag ahora falla de forma segura incluso cuando una réplica se atrasa.