概覽
一個商務平台的 Prometheus 伺服器啟動後短短幾分鐘就遭 OOM 終止,指標可視性因此完全喪失。觸發點是一次例行的應用程式部署;真正的原因則是一個新增的標籤。
挑戰
某個團隊在請求計數器上加入了使用者識別碼作為標籤。每一位不同的使用者都會產生一條新的時間序列,因此在流量高峰時段,活躍序列數量便無止境地成長。Prometheus 不斷耗用記憶體,直到被核心終止;重新啟動時又必須重播一份已經膨脹到極其龐大的預寫日誌(WAL),耗時之長,讓程序在完成之前就再次遭到終止。監控系統陷入無法自行恢復的當機循環,而在停擺期間,團隊完全沒有任何指標可看。
環境
部署於 Kubernetes 上的 Prometheus,抓取數百個目標,資料供應 Grafana 儀表板與 Alertmanager 路由。
做法
第一要務是讓 Prometheus 程序能維持運作,這代表必須先打破 WAL 重播的循環,再處理指標本身。我們讓伺服器在能夠完成重播的狀態下啟動,依基數找出問題序列,在重新標記(relabel)階段將其丟棄,使其不再被擷取,接著建立防護機制,讓同一類錯誤不會再悄悄重演。
解決方案
- 給予程序足夠的記憶體餘裕以完成 WAL 重播,打破當機循環,並確認卡住的原因是記憶體而非資料損毀
- 透過 TSDB 狀態依基數為序列排名,幾分鐘內就找出問題標籤,而不必靠人工逐一檢查
- 在 metric_relabel_configs 丟棄沒有上限的標籤,無論應用程式送出什麼,該標籤都不再被擷取
- 為每個抓取設定套用 sample_limit 與 label_limit,讓單一有問題的目標再也無法拖垮伺服器
- 針對活躍序列的成長速率加入基數告警,在記憶體進入危急狀態之前就發出通知
- 與應用程式團隊一起確立正確做法——使用者身分應該放在日誌與追蹤中,而不是指標標籤
成效
活躍序列數量回落到可持續的水準,OOM 當機循環當天就宣告結束。此後,抓取層級的上限已在擷取階段攔下另外兩次基數錯誤,兩次都沒有影響到伺服器。