概覽
一家支付處理業者無法在上班時間重新啟動 Prometheus,因為重播所需的時間長到會留下相當大的監控空窗,例行的修補作業也因此成了排程難題。AceMQ 提供持續性技術支援,涵蓋重新啟動行為、資料保留,以及指標路徑本身的可用性。
挑戰
每個 Prometheus 執行個體的活躍序列數都非常高,因此啟動時的 WAL 重播耗時很長,而執行個體在重播完成之前無法回應任何查詢。任何節點驅逐、需要重新啟動的設定重新載入或版本升級,都會造成風險團隊在交易時段無法接受的盲點。最直覺的變通方法——多運行一個複本——曾經嘗試過,但由於複本之間沒有去重複,查詢結果並不一致。
環境
在 Kubernetes 上各區域成對部署的 Prometheus,搭配長期儲存,活躍序列數高,並受監管的變更時段限制。
做法
我們從兩個方向處理盲點:減少重播本身的工作量,並讓重新啟動對查詢端完全透明。透過 relabeling 減少序列數,直接縮短了重播時間;而在成對的執行個體前方加入適當的複本去重複機制,讓其中一個執行個體重新啟動時,另一個能持續提供服務,使重新啟動變成一般的例行作業。
解決方案
- 24/7 技術支援,提供依方案而定、最快 15 分鐘起的回應目標,由掌握各區域拓撲脈絡的資深工程師負責
- 以 relabel 方式捨棄未使用的指標並整合重複的 exporter,減少序列數
- 高可用的 Prometheus 成對部署,前方搭配具去重複功能的查詢層,讓單一執行個體可以無感重新啟動
- 調校資料保留與區塊時間長度,縮小 WAL 並縮短重播時間,同時不犧牲可查詢的時間範圍
- 針對受監管的變更時段,撰寫並演練重新啟動、升級與設定重新載入程序
- 定期審查序列成長,讓新服務陸續上線時,重播時間仍能維持在可控範圍內
成效
重新啟動不再造成可見的監控空窗,修補作業也從排定在非上班時間進行,轉變為例行的滾動作業。在捨棄未使用的序列之後,重播時間本身縮短了遠超過一半。