Panoramica
Un operatore di servizi energetici si affida all'alerting di Grafana per il monitoraggio operativo dei siti di generazione e distribuzione. AceMQ fornisce supporto continuativo su comportamento delle regole di alert, routing delle notifiche e stabilità dei datasource.
Sfida
Dopo la migrazione dal legacy alerting allo unified alerting, l'operatore si ritrovava con regole che scattavano in modo incoerente. Alcuni alert non si risolvevano mai perché la serie sottostante aveva smesso di essere inviata e la regola non gestiva il caso no-data. Altri oscillavano perché l'intervallo di valutazione era più breve dell'intervallo di scrape, per cui la regola veniva regolarmente valutata su un buco nei dati. Le notification policy erano cresciute fino a formare un albero che nessuno capiva fino in fondo, e una route con un'etichetta sbagliata faceva sì che un'intera classe di alert finisse silenziosamente nel nulla.
Ambiente
Grafana in un deployment ibrido che monitora infrastruttura on-premises collegata ai sistemi SCADA e servizi cloud, con alert inviati agli strumenti di gestione dei turni di reperibilità.
Approccio
Il supporto tratta le regole di alert come codice di produzione. Verifichiamo la gestione dei casi no-data ed error su ogni regola, allineiamo gli intervalli di valutazione alla cadenza di scrape e delle recording rule sottostanti e controlliamo che ogni percorso delle notification policy raggiunga davvero una persona. Le modifiche alle regole vengono testate sui dati storici prima di andare in produzione.
Soluzione
- Supporto 24/7 con obiettivi di risposta da 15 minuti, in base al piano, e ingegneri senior dedicati che conoscono l'intero parco di alert
- Audit di ogni regola di alert sulla gestione dei casi no-data ed execution error, per rendere visibili i guasti silenziosi
- Intervalli di valutazione e durate del parametro for allineati alla cadenza di scrape e delle recording rule, per eliminare le oscillazioni causate dai buchi nei dati
- Albero delle notification policy semplificato e ogni route verificata end-to-end con un alert di test
- Regole di alert e contact point gestiti come configurazione con provisioning, così che le modifiche siano revisionabili e reversibili
- Revisione periodica del volume di alert e dei tassi di presa in carico, per dismettere le regole su cui nessuno interviene
Esito
Il rumore degli alert si è ridotto in modo sostanziale una volta corrette le regole che oscillavano, e le route che finivano nel nulla ora raggiungono il personale reperibile. Gli ingegneri tornano a fidarsi degli alert, come dimostrano i tempi di presa in carico più rapidi.