Descripción general
Un fabricante que ejecutaba Prometheus en cada planta más una capa de federación global vio que los dashboards globales no coincidían con los locales. AceMQ evaluó la topología para determinar si la federación era el patrón adecuado a su escala.
Reto
La federación jerárquica se estaba usando para extraer series en bruto en lugar de agregados, de modo que la instancia global hacía scrape de un volumen enorme de datos de cada planta en cada intervalo. Los scrapes superaban con frecuencia el timeout y devolvían datos parciales, y por eso las vistas global y local no coincidían. Las plantas con enlaces WAN intermitentes generaban huecos que parecían paradas de planta. Nadie sabía qué cifras eran fiables durante un incidente real de producción.
Entorno
Prometheus en varias plantas de fabricación con conectividad WAN intermitente hacia un entorno central de observabilidad.
Enfoque
La evaluación midió lo que la federación transfería realmente frente al presupuesto de timeout del scrape, lo que dejó claro el problema de los scrapes parciales. Después evaluamos si los requisitos del cliente quedaban mejor cubiertos con remote write hacia un almacén central que con federación, y modelamos las implicaciones de ancho de banda y almacenamiento de cada opción con su número real de series.
Solución
- Medición del tamaño y la duración de la carga de federación por planta y comparación con el timeout de scrape configurado
- Correlación de los incidentes de scrapes parciales y huecos con los eventos de los enlaces WAN para separar los problemas de red de los de configuración
- Diseño de recording rules en cada planta para que solo salgan de ella los agregados, lo que reduce la carga de federación en varios órdenes de magnitud
- Evaluación de remote write con un almacén central a largo plazo como alternativa, con el ancho de banda y el almacenamiento modelados sobre el número real de series
- Especificación del comportamiento de buffering y reintentos para que una caída de la WAN produzca datos rellenados a posteriori y no un hueco permanente
- Retención definida por planta para que los ingenieros locales conserven la resolución completa aunque al nivel central solo lleguen agregados
Resultado final
El cliente pasó a recording rules en cada planta más remote write, lo que eliminó por completo los huecos por scrapes parciales. Los dashboards globales y los de cada planta coinciden ahora, y las caídas de la WAN se rellenan a posteriori en lugar de dejar huecos permanentes en el histórico.