概覽
一家保險服務供應商的 ELK 叢集在十八個月內兩度用盡儲存空間,卻找不到明確原因。AceMQ 評估了實際被建立索引的內容,以及其中有多少真的有人使用。
挑戰
由於採用預設的動態對應(dynamic mapping),每一行 JSON 日誌中的每個欄位都會被建立索引並儲存,包括從來沒有人搜尋過的大型巢狀結構。有幾個服務以 info 層級記錄完整的請求與回應內容。所有索引一律採用相同的保留期限,不論其價值高低,因此 debug 層級的應用程式日誌,與稽核記錄保留得一樣久。儲存成長曲線與業務成長毫無關聯,但沒有人掌握欄位層級的資料來解釋原因。
環境
地端 ELK 叢集,擷取來自全公司的應用程式、基礎架構與稽核日誌。
做法
評估在欄位層級而不只是索引層級量測儲存用量,並與搜尋及儀表板的使用情況交叉比對。這樣的組合能精確顯示哪些欄位成本最高、價值最低,讓保留期限從政策上的爭論,轉變為有憑有據的決策。
解決方案
- 透過磁碟用量分析,依索引模式在欄位層級歸屬儲存用量,而不只看索引總量
- 將欄位使用情況與已儲存的搜尋、儀表板及查詢歷程交叉比對,找出已建立索引卻從未被搜尋的欄位
- 逐一檢視各索引模式的動態對應行為,找出應改用明確對應的地方
- 從源頭找出記錄大型內容的日誌,並建議對請求與回應內容進行取樣或截斷
- 依資料類別提出分層保留期限,讓 debug 日誌與稽核記錄不再共用同一套保留政策
- 建立儲存預測模型,呈現採行建議變更前後的成長曲線
成效
評估顯示,有相當大比例的已索引欄位從未出現在任何查詢中。採用明確對應與分層保留期限之後,預估的儲存成長趨於平緩,足以取消下一次規劃中的擴充。