Descripción general
Un fabricante que ejecutaba Prometheus en cada planta, más una capa de federación global, descubrió que los dashboards globales no coincidían con los locales. AceMQ evaluó la topología para determinar si la federación era el patrón adecuado a su escala.
Desafío
La federación jerárquica se estaba usando para traer series en bruto en lugar de agregados, así que la instancia global hacía scrape de un payload enorme de cada sitio en cada intervalo. Los scrapes superaban con frecuencia el timeout y devolvían datos parciales, y por eso las vistas global y local no coincidían. Los sitios con enlaces WAN intermitentes producían huecos que parecían caídas de planta. Nadie sabía en qué números confiar durante un incidente de producción real.
Entorno
Prometheus en varios sitios de manufactura con conectividad WAN intermitente hacia un entorno central de observabilidad.
Enfoque
La evaluación midió lo que la federación transfería realmente frente al presupuesto de timeout del scrape, lo que dejó en evidencia el problema de los scrapes parciales. Luego evaluamos si los requisitos del cliente quedaban mejor atendidos con remote write hacia un almacén central que con federación, y modelamos las implicaciones de ancho de banda y almacenamiento de cada opción con sus cantidades reales de series.
Solución
- Medición del tamaño y la duración del payload de federación por sitio, comparados con el timeout de scrape configurado
- Correlación de los incidentes de scrapes parciales y huecos con los eventos de los enlaces WAN para separar los problemas de red de los de configuración
- Diseño de recording rules en cada sitio para que solo salgan agregados de la planta, lo que reduce el payload de federación en varios órdenes de magnitud
- Evaluación de remote write con un almacén central de largo plazo como alternativa, con ancho de banda y almacenamiento modelados sobre cantidades reales de series
- Especificación del comportamiento de buffering y reintentos para que una caída de la WAN produzca datos rellenados después (backfill) y no un hueco permanente
- Definición de la retención por sitio para que los ingenieros locales conserven la resolución completa aunque solo los agregados vayan al nivel central
Resultado final
El cliente pasó a recording rules por sitio más remote write, lo que eliminó por completo los huecos por scrapes parciales. Los dashboards globales y de sitio ahora coinciden, y las caídas de la WAN se rellenan después en lugar de dejar huecos permanentes en el registro.