返回所有使用案例

評估跨產業

找出您建立了索引、卻從來沒有人搜尋過的欄位

保險服務供應商

針對儲存成長速度超出所有規劃的 ELK 環境,評估其日誌量、欄位層級的實用性與保留期限。

概覽

一家保險服務供應商的 ELK 叢集在十八個月內兩度用盡儲存空間,卻找不到明確原因。AceMQ 評估了實際被建立索引的內容,以及其中有多少真的有人使用。

挑戰

由於採用預設的動態對應(dynamic mapping),每一行 JSON 日誌中的每個欄位都會被建立索引並儲存,包括從來沒有人搜尋過的大型巢狀結構。有幾個服務以 info 層級記錄完整的請求與回應內容。所有索引一律採用相同的保留期限,不論其價值高低,因此 debug 層級的應用程式日誌,與稽核記錄保留得一樣久。儲存成長曲線與業務成長毫無關聯,但沒有人掌握欄位層級的資料來解釋原因。

環境

地端 ELK 叢集,擷取來自全公司的應用程式、基礎架構與稽核日誌。

做法

評估在欄位層級而不只是索引層級量測儲存用量,並與搜尋及儀表板的使用情況交叉比對。這樣的組合能精確顯示哪些欄位成本最高、價值最低,讓保留期限從政策上的爭論,轉變為有憑有據的決策。

解決方案

  1. 透過磁碟用量分析,依索引模式在欄位層級歸屬儲存用量,而不只看索引總量
  2. 將欄位使用情況與已儲存的搜尋、儀表板及查詢歷程交叉比對,找出已建立索引卻從未被搜尋的欄位
  3. 逐一檢視各索引模式的動態對應行為,找出應改用明確對應的地方
  4. 從源頭找出記錄大型內容的日誌,並建議對請求與回應內容進行取樣或截斷
  5. 依資料類別提出分層保留期限,讓 debug 日誌與稽核記錄不再共用同一套保留政策
  6. 建立儲存預測模型,呈現採行建議變更前後的成長曲線

成效

評估顯示,有相當大比例的已索引欄位從未出現在任何查詢中。採用明確對應與分層保留期限之後,預估的儲存成長趨於平緩,足以取消下一次規劃中的擴充。

技術

ELK StackElasticsearchKibanaLogstash

準備好進行 ELK Stack 健康檢查了嗎?

AceMQ 的資深 ELK Stack 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。