概覽
一個競價平台在嚴格的單一請求延遲預算下運作,卻週期性地因逾時而輸掉競價。Redis 的平均延遲看起來一切正常;p99.9 卻顯示每隔固定時間就出現長達數百毫秒的尖峰。AceMQ 依緊急 SLA 介入處理。
挑戰
尖峰出現的間隔與 RDB 快照排程一致。對大型 Redis 處理程序執行 fork 時會複製頁表,而在啟用 transparent huge pages 的情況下,fork 之後的寫入時複製(copy-on-write)成本被放大:每次寫入共用的 huge page,都必須複製 2 MB,而不是 4 KB。這個效應在平均延遲中完全看不出來,只會出現在尾端延遲,而這正是此工作負載所在乎的地方。
環境
在實體機 Linux 主機上執行的 Redis,於嚴格的延遲預算下提供即時競價決策。
做法
AceMQ 將尖峰時間戳記與 Redis 日誌中的 fork 時間以及核心記憶體統計資料相互對照,確認背後的機制,而不是單憑推測。修正措施涵蓋主機設定、持久化策略,以及讓每次 fork 代價高昂的記憶體用量。
解決方案
- 將尾端延遲尖峰與日誌記錄的 fork 時間及核心記憶體統計資料相互對照,確認背後機制
- 在 Redis 主機上停用 transparent huge pages,並針對 fork 成本驗證這項變更
- 將快照工作移交給複本,讓主節點不再於服務路徑上執行 fork
- 依平台實際的持久性需求,檢視持久化策略與重寫門檻
- 透過調整鍵結構,降低每個執行個體的記憶體用量,讓剩餘的 fork 成本更低
- 將尾端延遲百分位數與 fork 時間納入一級監控訊號
成效
週期性的尾端尖峰消失,p99.9 延遲回到平台的預算之內。可歸因於快取層的競價逾時也不再發生。