返回所有使用案例

問題修復軟體/數位平台

在基數爆炸讓監控系統徹底停擺之前,及時止血

數位商務平台

某次部署加入了一個沒有上限的標籤,導致 Prometheus 伺服器一再遭 OOM 終止;本案為其緊急修復。

概覽

一個商務平台的 Prometheus 伺服器啟動後短短幾分鐘就遭 OOM 終止,指標可視性因此完全喪失。觸發點是一次例行的應用程式部署;真正的原因則是一個新增的標籤。

挑戰

某個團隊在請求計數器上加入了使用者識別碼作為標籤。每一位不同的使用者都會產生一條新的時間序列,因此在流量高峰時段,活躍序列數量便無止境地成長。Prometheus 不斷耗用記憶體,直到被核心終止;重新啟動時又必須重播一份已經膨脹到極其龐大的預寫日誌(WAL),耗時之長,讓程序在完成之前就再次遭到終止。監控系統陷入無法自行恢復的當機循環,而在停擺期間,團隊完全沒有任何指標可看。

環境

部署於 Kubernetes 上的 Prometheus,抓取數百個目標,資料供應 Grafana 儀表板與 Alertmanager 路由。

做法

第一要務是讓 Prometheus 程序能維持運作,這代表必須先打破 WAL 重播的循環,再處理指標本身。我們讓伺服器在能夠完成重播的狀態下啟動,依基數找出問題序列,在重新標記(relabel)階段將其丟棄,使其不再被擷取,接著建立防護機制,讓同一類錯誤不會再悄悄重演。

解決方案

  1. 給予程序足夠的記憶體餘裕以完成 WAL 重播,打破當機循環,並確認卡住的原因是記憶體而非資料損毀
  2. 透過 TSDB 狀態依基數為序列排名,幾分鐘內就找出問題標籤,而不必靠人工逐一檢查
  3. 在 metric_relabel_configs 丟棄沒有上限的標籤,無論應用程式送出什麼,該標籤都不再被擷取
  4. 為每個抓取設定套用 sample_limit 與 label_limit,讓單一有問題的目標再也無法拖垮伺服器
  5. 針對活躍序列的成長速率加入基數告警,在記憶體進入危急狀態之前就發出通知
  6. 與應用程式團隊一起確立正確做法——使用者身分應該放在日誌與追蹤中,而不是指標標籤

成效

活躍序列數量回落到可持續的水準,OOM 當機循環當天就宣告結束。此後,抓取層級的上限已在擷取階段攔下另外兩次基數錯誤,兩次都沒有影響到伺服器。

技術

PrometheusKubernetesGrafanaAlertmanager

正面臨 Prometheus 正式環境問題嗎?

AceMQ 的資深 Prometheus 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。