Descripción general
Un procesador de pagos no podía reiniciar Prometheus en horario laboral porque el replay tardaba lo suficiente como para dejar un hueco considerable en el monitoreo. Eso convertía la aplicación de parches de rutina en un problema de calendario. AceMQ brinda soporte continuo que cubre el comportamiento en los reinicios, la retención y la disponibilidad de la propia ruta de métricas.
Desafío
Cada instancia de Prometheus tenía una cantidad muy alta de series activas, así que el replay del WAL al arrancar se extendía mucho y la instancia no respondía consultas hasta terminar. Cualquier desalojo de nodo, recarga de configuración que exigiera reinicio o actualización de versión generaba un punto ciego que el equipo de riesgos no aceptaba durante el horario de operaciones. La solución obvia, ejecutar una segunda réplica, ya se había intentado, pero producía resultados de consulta inconsistentes porque las réplicas no se deduplicaban.
Entorno
Pares de Prometheus por región en Kubernetes con almacenamiento a largo plazo, cantidades altas de series activas y ventanas de cambio reguladas.
Enfoque
Atacamos el punto ciego desde dos frentes: reducir el trabajo del replay en sí y hacer que el reinicio fuera invisible para quienes consultan. Recortar la cantidad de series mediante relabeling acortó el replay de forma directa. Agregar una deduplicación de réplicas adecuada delante del par permitió que una instancia se reiniciara mientras la otra seguía respondiendo, con lo que los reinicios pasaron a ser operaciones normales.
Solución
- Soporte 24/7 con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior que conocen el contexto de la topología de cada región
- Reducción de la cantidad de series descartando métricas sin uso mediante relabeling y consolidando exporters duplicados
- Pares de Prometheus en alta disponibilidad detrás de una capa de consultas con deduplicación para que una instancia pueda reiniciarse de forma transparente
- Ajuste de la retención y de la duración de los bloques para reducir el tamaño del WAL y acortar el replay sin perder rango de consulta
- Procedimientos de reinicio, actualización y recarga de configuración documentados y ensayados según la ventana de cambio regulada
- Revisión periódica del crecimiento de series para que el tiempo de replay siga acotado a medida que se incorporan nuevos servicios
Resultado final
Los reinicios ya no producen un hueco visible en el monitoreo, y la aplicación de parches pasó de ser un ejercicio programado fuera de horario a una operación progresiva de rutina. El tiempo de replay en sí se redujo bastante más de la mitad una vez que se descartaron las series sin uso.