概覽
一家醫療分析服務供應商需要長期的容量規劃歷史資料,部分維運指標也必須保留多年,但他們的做法是為 Prometheus 掛載非常大的區塊磁碟區。AceMQ 改為設計一套以物件儲存為後端、搭配降採樣的架構。
挑戰
本機保留期限設定為遠超過一年,代表每個執行個體都要配置龐大的磁碟區、壓實速度緩慢,搬移執行個體也非常痛苦。長時間範圍的查詢會逾時,因為它們要在整個時間窗內掃描原始解析度的樣本。此外,也沒有真正的耐久性保障——保留的資料存放在掛載於單一執行個體的磁碟區上,一旦執行個體遺失,就會失去企業承諾要保存的歷史資料。
環境
跨多個 AWS 帳戶、執行於 Kubernetes 上的 Prometheus,可使用物件儲存,且部分指標負有法規規定的保留義務。
做法
我們將 Prometheus 被要求承擔的兩項工作拆開:供告警使用的近期高解析度資料,以及供規劃與稽核使用的長期歷史資料。Prometheus 只保留一段短暫的本機時間窗;區塊會傳送到物件儲存,再由降採樣壓實器產生較粗的解析度,供長時間範圍查詢使用。保留義務則改由物件生命週期政策來落實,而不是靠執行個體的設定。
解決方案
- 將 Prometheus 本機保留期限縮短為僅足以支援告警與即時除錯的小時間窗
- 將區塊傳送到物件儲存,並由壓實器產生五分鐘與一小時兩種降採樣解析度
- 設定查詢層,依所請求的時間範圍自動選擇合適的解析度
- 依 bucket 前綴以物件生命週期規則落實保留義務,可獨立於 Prometheus 進行稽核
- 在高可用的 Prometheus 配對之間設定去重複,讓長時間範圍查詢回傳單一且一致的時間序列
- 依客戶實際的資料量,建立成本模型,比較配置區塊儲存與物件儲存加降採樣的成本
成效
每個執行個體所配置的區塊儲存大約減少了一個數量級,過去會逾時的一年期容量查詢,如今針對降採樣資料只需數秒即可回傳。保留期限如今可落實、可稽核,不必仰賴任何單一執行個體存活。