返回所有使用案例

技術支援金融服務/支付

終結每次 Prometheus 重新啟動後長達一小時的監控盲點

全球支付處理業者

為大型 Prometheus 執行個體提供持續性技術支援;這些執行個體因預寫日誌(WAL)重播緩慢,每次重新啟動都會造成長時間的監控盲點。

概覽

一家支付處理業者無法在上班時間重新啟動 Prometheus,因為重播所需的時間長到會留下相當大的監控空窗,例行的修補作業也因此成了排程難題。AceMQ 提供持續性技術支援,涵蓋重新啟動行為、資料保留,以及指標路徑本身的可用性。

挑戰

每個 Prometheus 執行個體的活躍序列數都非常高,因此啟動時的 WAL 重播耗時很長,而執行個體在重播完成之前無法回應任何查詢。任何節點驅逐、需要重新啟動的設定重新載入或版本升級,都會造成風險團隊在交易時段無法接受的盲點。最直覺的變通方法——多運行一個複本——曾經嘗試過,但由於複本之間沒有去重複,查詢結果並不一致。

環境

在 Kubernetes 上各區域成對部署的 Prometheus,搭配長期儲存,活躍序列數高,並受監管的變更時段限制。

做法

我們從兩個方向處理盲點:減少重播本身的工作量,並讓重新啟動對查詢端完全透明。透過 relabeling 減少序列數,直接縮短了重播時間;而在成對的執行個體前方加入適當的複本去重複機制,讓其中一個執行個體重新啟動時,另一個能持續提供服務,使重新啟動變成一般的例行作業。

解決方案

  1. 24/7 技術支援,提供依方案而定、最快 15 分鐘起的回應目標,由掌握各區域拓撲脈絡的資深工程師負責
  2. 以 relabel 方式捨棄未使用的指標並整合重複的 exporter,減少序列數
  3. 高可用的 Prometheus 成對部署,前方搭配具去重複功能的查詢層,讓單一執行個體可以無感重新啟動
  4. 調校資料保留與區塊時間長度,縮小 WAL 並縮短重播時間,同時不犧牲可查詢的時間範圍
  5. 針對受監管的變更時段,撰寫並演練重新啟動、升級與設定重新載入程序
  6. 定期審查序列成長,讓新服務陸續上線時,重播時間仍能維持在可控範圍內

成效

重新啟動不再造成可見的監控空窗,修補作業也從排定在非上班時間進行,轉變為例行的滾動作業。在捨棄未使用的序列之後,重播時間本身縮短了遠超過一半。

技術

PrometheusThanosKubernetesGrafana

需要專業的 Prometheus 技術支援嗎?

AceMQ 的資深 Prometheus 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。