返回所有使用案例

評估政府/國防

釐清哪些資料真的能復原,哪些不能

公部門機關

依工作負載實際需要的耐久性,評估持久化設定、複寫拓樸與容錯移轉行為。

概覽

一個公部門機關以 Redis 承載多種工作負載,各自的耐久性需求不同,卻共用同一套沿襲下來的設定。沒有人說得出哪些資料能在主機故障後留存、哪些不能。AceMQ 依照每個工作負載的實際需求評估了這套部署。

挑戰

Redis 的持久化選項是在耐久性與延遲之間取捨,很容易設定錯誤,而且往往要等到發生故障才會發現。該機關的執行個體所使用的快照間隔,可能會遺失好幾分鐘的寫入,而部分工作負載卻一直被假設為具備耐久性。複寫與容錯移轉從未測試過,因此升格行為與容錯移轉時的資料遺失情形都是未知數。

環境

地端 Redis 執行個體,由 Sentinel 管理容錯移轉,支援快取、佇列與工作階段等工作負載。

做法

AceMQ 依每個工作負載實際能容忍的遺失程度進行分類,再與現有設定所能保證的程度相比較。我們刻意演練容錯移轉,實際量測資料遺失量而非估算,讓假設與實際行為之間的落差有證據可循並記錄成文件。

解決方案

  1. 依可容忍的資料遺失程度將每個工作負載分類,並與設定實際能保證的程度相比較
  2. 依上述需求,逐一審查每個執行個體的快照間隔與 append-only file 的 fsync 政策
  3. 刻意演練 Sentinel 容錯移轉,並量測實際的資料遺失量與升格時間
  4. 評估複寫拓樸、仲裁設定與腦裂(split-brain)風險
  5. 以計時的復原測試,驗證從既有持久化檔案還原的程序
  6. 交付依工作負載整理的耐久性矩陣,並列出補上每個缺口所需的設定變更

成效

該機關取得一份有文件、有證據佐證的說明,清楚列出每個工作負載能承受什麼樣的故障,取代了一個從未經過測試的假設。原本被認為具備耐久性的兩個工作負載,結果並非如此,並在故障證明這一點之前就完成了重新設定。

技術

RedisRedis SentinelLinuxPrometheus

準備好進行 Redis 健康檢查了嗎?

AceMQ 的資深 Redis 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。