概覽
一個公部門機關以 Redis 承載多種工作負載,各自的耐久性需求不同,卻共用同一套沿襲下來的設定。沒有人說得出哪些資料能在主機故障後留存、哪些不能。AceMQ 依照每個工作負載的實際需求評估了這套部署。
挑戰
Redis 的持久化選項是在耐久性與延遲之間取捨,很容易設定錯誤,而且往往要等到發生故障才會發現。該機關的執行個體所使用的快照間隔,可能會遺失好幾分鐘的寫入,而部分工作負載卻一直被假設為具備耐久性。複寫與容錯移轉從未測試過,因此升格行為與容錯移轉時的資料遺失情形都是未知數。
環境
地端 Redis 執行個體,由 Sentinel 管理容錯移轉,支援快取、佇列與工作階段等工作負載。
做法
AceMQ 依每個工作負載實際能容忍的遺失程度進行分類,再與現有設定所能保證的程度相比較。我們刻意演練容錯移轉,實際量測資料遺失量而非估算,讓假設與實際行為之間的落差有證據可循並記錄成文件。
解決方案
- 依可容忍的資料遺失程度將每個工作負載分類,並與設定實際能保證的程度相比較
- 依上述需求,逐一審查每個執行個體的快照間隔與 append-only file 的 fsync 政策
- 刻意演練 Sentinel 容錯移轉,並量測實際的資料遺失量與升格時間
- 評估複寫拓樸、仲裁設定與腦裂(split-brain)風險
- 以計時的復原測試,驗證從既有持久化檔案還原的程序
- 交付依工作負載整理的耐久性矩陣,並列出補上每個缺口所需的設定變更
成效
該機關取得一份有文件、有證據佐證的說明,清楚列出每個工作負載能承受什麼樣的故障,取代了一個從未經過測試的假設。原本被認為具備耐久性的兩個工作負載,結果並非如此,並在故障證明這一點之前就完成了重新設定。