概覽
一個機關多年來每天建立 index,累積了數萬個小型 shard。增加硬體已不再有幫助,master 選舉耗時之長,甚至會中斷索引作業。AceMQ 評估了這個叢集,判斷問題出在容量還是設計。
挑戰
不論每日 index 只有幾 MB 還是數百 GB,都使用預設的 shard 數量。由此產生的 cluster state 大到向所有節點發布一次更新就要好幾秒,待處理任務在後面大排長龍,任何一次 master failover 都會變成長達數分鐘的服務中斷。也沒有人敢修改 index template,因為不清楚哪些下游搜尋依賴現有的 index 命名方式。
環境
地端 Elasticsearch 叢集,以每日時間序列 index 搭配多年保留期限,混合日誌與文件搜尋工作負載。
做法
這項評估依 index pattern 盤點 shard 數量與大小分佈,量測 cluster state 大小與發布延遲,並找出哪些 index 確實有查詢流量。我們會區分需要重新調整結構的 index,以及只需要 rollup 或刪除的 index,並提供客戶可以在一般維護期間執行、依序排列的計畫。
解決方案
- 依 index pattern 完整盤點 shard 與大小分佈,顯示哪些 pattern 產生的 shard 遠小於或遠大於合理大小
- 量測 cluster state 大小與發布延遲,直接量化 master 的負擔
- 逐一對應每個 index 的查詢流量,讓保留決策以實證為依據,而不是以政策假設為依據
- 建議目標 shard 大小與 rollover 策略,使用以大小與存續時間為條件的 ILM
- 依序排列的修正計畫,涵蓋 shrink、reindex 與 rollup 步驟,並以讓搜尋全程可用的順序執行
- 容量模型,顯示整併後叢集實際需要的資源,避免不必要的硬體採購
成效
整併每日 index 並將舊資料 rollup 後,shard 數量大幅下降,cluster state 發布時間也縮短到原本的一小部分。Master failover 不再造成任何影響,原本規劃的硬體擴充也延後執行。