返回所有使用案例

問題修復金融服務/支付

在不遺失資料的情況下,讓停滯的 Elasticsearch 叢集回到 green

全球支付處理商

緊急修復一個在資料節點故障後無法回到 green 的 Elasticsearch 叢集,其複本因磁碟水位線而無法配置。

概覽

一個支付平台在硬體故障中遺失了一個資料節點,叢集從此再也沒有恢復到 green。複本 shard 連續數天處於未配置狀態,搜尋流量只靠單一副本運作,index 只要再發生一次故障就會真正遺失資料。

挑戰

存活的節點已超過 flood-stage 磁碟水位線,因此 Elasticsearch 套用了 read-only-allow-delete index block,拒絕配置遺失的複本。Allocation explain 的輸出指向水位線,但團隊無法釋放空間,因為這個 block 同時也阻擋了他們原本規劃的 delete-by-query 清理作業。同時,熱 index 上的 translog 還在持續成長。

環境

部署於裸機、約 20 個資料節點的 Elasticsearch 叢集,採用 hot-warm 分層,存放數 TB 已建立索引的交易與稽核資料。

做法

AceMQ 工程師從 allocation explain API 著手,而不是用猜的,再依照能讓 block 安全解除的順序逐步降低磁碟壓力。我們將較舊的 index 移到 warm 層,對唯讀 segment 執行 force-merge 以回收已刪除文件佔用的空間,接著解除 index block,並在限速的復原速率下讓配置恢復,避免叢集在重建期間耗盡自己的網路頻寬。

解決方案

  1. 逐一讀取每個未配置 shard 的 cluster allocation explain 輸出,確認阻擋原因是水位線而非資料損毀
  2. 將較舊的 index 遷移到 warm 層節點,並對唯讀 index 執行 force-merge,回收已刪除文件佔用的空間
  3. 在恢復足夠空間後才解除 read-only-allow-delete block,避免再次觸及 flood stage
  4. 在重建期間限制 indices.recovery.max_bytes_per_sec,讓複本復原不會排擠即時查詢流量
  5. 設定保留實際餘裕的 low/high/flood 水位線,並在達到 high 水位線之前加入磁碟告警
  6. 撰寫復原 runbook,讓客戶的值班人員無需升級處理就能排除相同狀況

成效

叢集回到 green,所有複本都已配置,沒有遺失任何 index。由於水位線告警現在會在 flood stage 之前就觸發,客戶再也沒有碰到 read-only block,節點替換也成為例行維護,而不再是一起事故。

技術

ElasticsearchKibanaLinuxKubernetes

正面臨 Elasticsearch 正式環境問題嗎?

AceMQ 的資深 Elasticsearch 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。