Volver a todos los casos de uso

EvaluaciónIndustria / Fabricación

Averiguar por qué la vista global no coincide con ninguna vista de planta

Fabricante de automatización industrial

Evaluación de una topología de federación de Prometheus que había superado sus límites y provocaba huecos y datos duplicados entre centros.

Descripción general

Un fabricante que ejecutaba Prometheus en cada planta más una capa de federación global vio que los dashboards globales no coincidían con los locales. AceMQ evaluó la topología para determinar si la federación era el patrón adecuado a su escala.

Reto

La federación jerárquica se estaba usando para extraer series en bruto en lugar de agregados, de modo que la instancia global hacía scrape de un volumen enorme de datos de cada planta en cada intervalo. Los scrapes superaban con frecuencia el timeout y devolvían datos parciales, y por eso las vistas global y local no coincidían. Las plantas con enlaces WAN intermitentes generaban huecos que parecían paradas de planta. Nadie sabía qué cifras eran fiables durante un incidente real de producción.

Entorno

Prometheus en varias plantas de fabricación con conectividad WAN intermitente hacia un entorno central de observabilidad.

Enfoque

La evaluación midió lo que la federación transfería realmente frente al presupuesto de timeout del scrape, lo que dejó claro el problema de los scrapes parciales. Después evaluamos si los requisitos del cliente quedaban mejor cubiertos con remote write hacia un almacén central que con federación, y modelamos las implicaciones de ancho de banda y almacenamiento de cada opción con su número real de series.

Solución

  1. Medición del tamaño y la duración de la carga de federación por planta y comparación con el timeout de scrape configurado
  2. Correlación de los incidentes de scrapes parciales y huecos con los eventos de los enlaces WAN para separar los problemas de red de los de configuración
  3. Diseño de recording rules en cada planta para que solo salgan de ella los agregados, lo que reduce la carga de federación en varios órdenes de magnitud
  4. Evaluación de remote write con un almacén central a largo plazo como alternativa, con el ancho de banda y el almacenamiento modelados sobre el número real de series
  5. Especificación del comportamiento de buffering y reintentos para que una caída de la WAN produzca datos rellenados a posteriori y no un hueco permanente
  6. Retención definida por planta para que los ingenieros locales conserven la resolución completa aunque al nivel central solo lleguen agregados

Resultado final

El cliente pasó a recording rules en cada planta más remote write, lo que eliminó por completo los huecos por scrapes parciales. Los dashboards globales y los de cada planta coinciden ahora, y las caídas de la WAN se rellenan a posteriori en lugar de dejar huecos permanentes en el histórico.

Tecnologías

PrometheusGrafanaKubernetesLinux

¿Preparado para un health check de Prometheus?

Los ingenieros sénior de Prometheus de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.