返回所有使用案例

問題修復軟體/數位平台

揪出只在 p99.9 才看得到的延遲尖峰

即時競價平台

消除週期性出現、長達數百毫秒的延遲尖峰;追查後發現,原因是 RDB 快照的 fork 停頓遭到 transparent huge pages 放大。

概覽

一個競價平台在嚴格的單一請求延遲預算下運作,卻週期性地因逾時而輸掉競價。Redis 的平均延遲看起來一切正常;p99.9 卻顯示每隔固定時間就出現長達數百毫秒的尖峰。AceMQ 依緊急 SLA 介入處理。

挑戰

尖峰出現的間隔與 RDB 快照排程一致。對大型 Redis 處理程序執行 fork 時會複製頁表,而在啟用 transparent huge pages 的情況下,fork 之後的寫入時複製(copy-on-write)成本被放大:每次寫入共用的 huge page,都必須複製 2 MB,而不是 4 KB。這個效應在平均延遲中完全看不出來,只會出現在尾端延遲,而這正是此工作負載所在乎的地方。

環境

在實體機 Linux 主機上執行的 Redis,於嚴格的延遲預算下提供即時競價決策。

做法

AceMQ 將尖峰時間戳記與 Redis 日誌中的 fork 時間以及核心記憶體統計資料相互對照,確認背後的機制,而不是單憑推測。修正措施涵蓋主機設定、持久化策略,以及讓每次 fork 代價高昂的記憶體用量。

解決方案

  1. 將尾端延遲尖峰與日誌記錄的 fork 時間及核心記憶體統計資料相互對照,確認背後機制
  2. 在 Redis 主機上停用 transparent huge pages,並針對 fork 成本驗證這項變更
  3. 將快照工作移交給複本,讓主節點不再於服務路徑上執行 fork
  4. 依平台實際的持久性需求,檢視持久化策略與重寫門檻
  5. 透過調整鍵結構,降低每個執行個體的記憶體用量,讓剩餘的 fork 成本更低
  6. 將尾端延遲百分位數與 fork 時間納入一級監控訊號

成效

週期性的尾端尖峰消失,p99.9 延遲回到平台的預算之內。可歸因於快取層的競價逾時也不再發生。

技術

RedisLinuxKubernetesPrometheus

正面臨 Redis 正式環境問題嗎?

AceMQ 的資深 Redis 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。