返回所有使用案例

顧問服務醫療保健/福利

滿足稽核人員的保留要求,又不必為冷資料支付熱層的價格

醫療分析服務供應商

為受法規監管的 Elasticsearch 環境設計索引生命週期管理、資料分層與快照策略的顧問服務專案。

概覽

一家醫療分析服務供應商基於稽核需求必須保留多年資料,卻把所有資料都放在昂貴的熱節點上。AceMQ 設計了一套 ILM 與分層策略,在符合保留要求的同時,將大部分資料移到成本較低的儲存空間。

挑戰

保留規則是靠手寫的清理指令碼執行,偶爾會刪錯索引模式。環境中沒有溫層或冷層,快照的執行並不一致,也從來沒有人測試過還原。法規遵循團隊無法回答某一類記錄實際上保留了多久,因為答案取決於最後一次成功執行的是哪一支指令碼。

環境

混合式 Elasticsearch 部署,熱節點位於地端,另有雲端物件儲存可用於快照與可搜尋資料。

做法

我們先將每個索引模式對應到其實際的法規保留義務,因為有好幾個模式的保留時間遠超過要求。接著,我們以 rollover 為基礎設計具有明確熱、溫、冷階段的 ILM 政策,新增針對物件儲存的快照生命週期政策,並反覆演練還原程序,直到所需時間是實際測得、而非憑空假設為止。

解決方案

  1. 依索引模式對應保留要求,並與清理指令碼實際執行的內容進行核對
  2. 以 rollover 別名搭配大小與存續時間條件建立 ILM 政策,完全取代自行撰寫的刪除指令碼
  3. 定義熱、溫、冷各階段,包括 force-merge、減少複本,以及依節點屬性篩選分片配置
  4. 將快照生命週期管理導向物件儲存,並採用符合法規遵循義務的保留規則
  5. 執行還原演練並計時,讓復原目標成為實際量測的數字,而非估計值
  6. 將政策定義以基礎架構即程式碼的方式提交,讓所有變更都經過審查

成效

目前大部分已建索引的資料都存放在溫層與冷層,為查詢工作負載釋放出大量熱節點容量。保留期限由政策而非指令碼來執行,法規遵循團隊也能直接從政策定義回答保留相關問題。

技術

ElasticsearchKibanaAmazon S3Terraform

需要 Elasticsearch 架構指引嗎?

AceMQ 的資深 Elasticsearch 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。