Descripción general
Una plataforma de seguros recibió advertencias de que a la base de datos le faltaban unas pocas decenas de millones de transacciones para que se activara la protección contra wraparound, lo que habría forzado al clúster a pasar a modo de solo lectura. AceMQ intervino bajo el SLA de emergencia y trabajó en el problema junto con el equipo de plataforma del cliente.
Desafío
En las tablas más grandes, autovacuum se cancelaba una y otra vez y volvía a empezar desde cero, de modo que el horizonte de freeze nunca avanzaba. Sesiones de analítica de larga duración y un pool de conexiones en estado idle-in-transaction mantenían fijo el horizonte de xmin, lo que significaba que ni siquiera las ejecuciones exitosas de vacuum podían recuperar tuplas. La configuración de demora basada en costos, heredada de un despliegue mucho más pequeño, limitaba autovacuum a una fracción de la capacidad de I/O disponible.
Entorno
PostgreSQL primario con réplicas por streaming sobre hardware on-premises, que da servicio a cargas de trabajo de administración de pólizas y de siniestros.
Enfoque
La prioridad inmediata era hacer avanzar el horizonte de freeze en las tablas de mayor antigüedad antes de que el clúster activara su protección. AceMQ ejecutó operaciones manuales y focalizadas de vacuum freeze sobre esas tablas con una configuración de workers ajustada y, al mismo tiempo, eliminó los bloqueos que impedían que autovacuum terminara, para que la solución se sostuviera después del incidente.
Solución
- Clasificación de las tablas según la antigüedad del ID de transacción congelado y ejecución de vacuum freeze focalizado, empezando por los peores casos
- Terminación de las sesiones idle-in-transaction y de los snapshots de larga duración que mantenían fijo el horizonte de xmin
- Reajuste del cost delay, el cost limit y la cantidad de workers de autovacuum según la capacidad real de I/O del hardware
- Definición de umbrales de autovacuum por tabla en las tablas grandes, en lugar de depender del escalado porcentual a nivel de todo el clúster
- Incorporación de statement timeout e idle-in-transaction session timeout para evitar que el problema se repita desde la capa de aplicación
- Monitoreo instrumentado de la antigüedad de las tablas, la cantidad de tuplas muertas y los eventos de cancelación de autovacuum
Resultado final
El horizonte de freeze avanzó hasta quedar muy lejos del umbral de wraparound y el clúster nunca entró en modo de solo lectura. Autovacuum ahora termina en las tablas grandes durante la operación normal, y el bloat acumulado durante meses comenzó a recuperarse por sí solo.