Torna a tutti i casi d'uso

RemediationSoftware / Piattaforme digitali

Fermare un'esplosione di cardinalità prima che metta fuori uso il monitoraggio in modo definitivo

Piattaforma di commercio digitale

Intervento d'emergenza su server Prometheus terminati ripetutamente per OOM dopo che un deployment aveva introdotto una label senza limiti di valori.

Panoramica

Una piattaforma di e-commerce ha perso la visibilità sulle metriche quando i suoi server Prometheus hanno iniziato a essere terminati per OOM pochi minuti dopo l'avvio. L'elemento scatenante era un normale deployment applicativo; la causa, una singola nuova label.

Sfida

Un team aveva aggiunto un identificativo utente come label su un contatore di richieste. Ogni utente distinto creava una nuova serie temporale, per cui il numero di serie attive cresceva senza limiti durante le ore di traffico. Prometheus consumava memoria finché il kernel non lo terminava e, al riavvio, doveva rieseguire il replay di un write-ahead log ormai enorme, operazione che durava abbastanza da far terminare di nuovo il processo prima della conclusione. Il sistema di monitoraggio era bloccato in un crash loop da cui non riusciva a uscire da solo, e per tutto il tempo il team è rimasto completamente privo di metriche.

Ambiente

Prometheus su Kubernetes con scraping di diverse centinaia di target, che alimenta dashboard Grafana e route di Alertmanager.

Approccio

La prima priorità era far restare in esecuzione un processo Prometheus, il che significava interrompere il loop di replay del WAL prima di occuparsi della metrica in sé. Abbiamo avviato il server in condizioni tali da poter completare il replay, individuato la serie responsabile in base alla cardinalità, l'abbiamo scartata nella fase di relabel così che non venisse più acquisita e infine abbiamo introdotto delle protezioni per impedire che lo stesso tipo di errore si ripeta senza che nessuno se ne accorga.

Soluzione

  1. Interruzione del crash loop concedendo al processo margine sufficiente per completare il replay del WAL, verificando poi che il blocco fosse dovuto alla memoria e non a una corruzione
  2. Classificazione delle serie per cardinalità tramite lo stato del TSDB, per individuare la label responsabile in pochi minuti anziché per ispezione manuale
  3. Eliminazione della label illimitata in metric_relabel_configs, così che non venga più acquisita indipendentemente da ciò che l'applicazione emette
  4. Applicazione di sample_limit e label_limit a ogni scrape config, così che un singolo target difettoso non possa più mettere fuori uso il server
  5. Aggiunta di un alert di cardinalità sul tasso di crescita delle serie attive, che scatta prima che la memoria diventi critica
  6. Collaborazione con il team applicativo sul pattern corretto: l'identità dell'utente va nei log e nelle trace, non nelle label delle metriche

Esito

Il numero di serie attive è tornato a un livello sostenibile e il crash loop per OOM si è concluso in giornata. Da allora i limiti a livello di scrape hanno intercettato altri due errori di cardinalità già in fase di acquisizione, prima che uno qualsiasi dei due avesse effetti sul server.

Tecnologie

PrometheusKubernetesGrafanaAlertmanager

Avete un problema di produzione su Prometheus?

Gli ingegneri Prometheus senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.