概覽
一個支付平台在硬體故障中遺失了一個資料節點,叢集從此再也沒有恢復到 green。複本 shard 連續數天處於未配置狀態,搜尋流量只靠單一副本運作,index 只要再發生一次故障就會真正遺失資料。
挑戰
存活的節點已超過 flood-stage 磁碟水位線,因此 Elasticsearch 套用了 read-only-allow-delete index block,拒絕配置遺失的複本。Allocation explain 的輸出指向水位線,但團隊無法釋放空間,因為這個 block 同時也阻擋了他們原本規劃的 delete-by-query 清理作業。同時,熱 index 上的 translog 還在持續成長。
環境
部署於裸機、約 20 個資料節點的 Elasticsearch 叢集,採用 hot-warm 分層,存放數 TB 已建立索引的交易與稽核資料。
做法
AceMQ 工程師從 allocation explain API 著手,而不是用猜的,再依照能讓 block 安全解除的順序逐步降低磁碟壓力。我們將較舊的 index 移到 warm 層,對唯讀 segment 執行 force-merge 以回收已刪除文件佔用的空間,接著解除 index block,並在限速的復原速率下讓配置恢復,避免叢集在重建期間耗盡自己的網路頻寬。
解決方案
- 逐一讀取每個未配置 shard 的 cluster allocation explain 輸出,確認阻擋原因是水位線而非資料損毀
- 將較舊的 index 遷移到 warm 層節點,並對唯讀 index 執行 force-merge,回收已刪除文件佔用的空間
- 在恢復足夠空間後才解除 read-only-allow-delete block,避免再次觸及 flood stage
- 在重建期間限制 indices.recovery.max_bytes_per_sec,讓複本復原不會排擠即時查詢流量
- 設定保留實際餘裕的 low/high/flood 水位線,並在達到 high 水位線之前加入磁碟告警
- 撰寫復原 runbook,讓客戶的值班人員無需升級處理就能排除相同狀況
成效
叢集回到 green,所有複本都已配置,沒有遺失任何 index。由於水位線告警現在會在 flood stage 之前就觸發,客戶再也沒有碰到 read-only block,節點替換也成為例行維護,而不再是一起事故。