Volver a todos los casos de uso

SoporteServicios financieros / Pagos

Adiós al punto ciego de una hora en la monitorización tras cada reinicio de Prometheus

Procesador global de pagos

Soporte continuo para grandes instancias de Prometheus en las que los reinicios dejaban largos puntos ciegos en la monitorización por la lentitud del replay del write-ahead log.

Descripción general

Un procesador de pagos no podía reiniciar Prometheus en horario laboral porque el replay tardaba tanto que dejaba un hueco considerable en la monitorización. Eso convertía la aplicación rutinaria de parches en un problema de planificación. AceMQ presta soporte continuo que abarca el comportamiento en los reinicios, la retención y la disponibilidad de la propia ruta de métricas.

Reto

Cada instancia de Prometheus tenía un número muy elevado de series activas, de modo que el replay del WAL al arrancar se alargaba y la instancia no atendía ninguna consulta hasta terminarlo. Cualquier desalojo de nodo, recarga de configuración que exigiera reinicio o actualización de versión generaba un punto ciego que el equipo de riesgos no aceptaba durante el horario de negociación. La solución obvia, ejecutar una segunda réplica, ya se había probado, pero producía resultados de consulta incoherentes porque las réplicas no se deduplicaban.

Entorno

Parejas de Prometheus por región en Kubernetes con almacenamiento a largo plazo, un número elevado de series activas y ventanas de cambio reguladas.

Enfoque

Abordamos el punto ciego desde dos frentes: reducir el propio trabajo de replay y hacer que el reinicio fuera invisible para quienes consultan. Recortar el número de series mediante relabeling acortó el replay directamente. Añadir una deduplicación de réplicas adecuada delante de la pareja permitió que una instancia se reiniciara mientras la otra atendía, lo que convirtió los reinicios en operaciones corrientes.

Solución

  1. Soporte 24/7 con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior que conocen la topología de cada región
  2. Reducción del número de series eliminando mediante relabeling las métricas que no se usan y consolidando exportadores duplicados
  3. Parejas de Prometheus de alta disponibilidad con una capa de consulta con deduplicación delante, para que una instancia pueda reiniciarse de forma transparente
  4. Ajuste de la retención y de la duración de los bloques para reducir el tamaño del WAL y acortar el replay sin perder rango de consulta
  5. Procedimientos de reinicio, actualización y recarga de configuración documentados y ensayados dentro de la ventana de cambio regulada
  6. Revisión periódica del crecimiento de series para que el tiempo de replay siga acotado a medida que se incorporan nuevos servicios

Resultado final

Los reinicios ya no dejan un hueco visible en la monitorización, y la aplicación de parches pasó de ser un ejercicio programado fuera de horario a una operación escalonada rutinaria. El propio tiempo de replay se redujo bastante más de la mitad una vez eliminadas las series sin uso.

Tecnologías

PrometheusThanosKubernetesGrafana

¿Necesita soporte experto de Prometheus?

Los ingenieros sénior de Prometheus de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.