概覽
一家電商平台營運商透過唯讀複本提供商品搜尋與報表服務。在每晚的庫存對帳期間,複本延遲越拉越大,讀取到的過時資料連客戶都察覺得到。AceMQ 受託找出並修正原因。
挑戰
複寫串流中含有批次作業產生的超大型單一交易,複本上的套用實際上被它們卡住而只能循序進行。由於批次更新的是欄位很多的寬資料列,以資料列為基礎的 binary log 又進一步放大了資料量。讀取流量在完全不考慮延遲的情況下被導向複本,因此過時資料在無人察覺的情況下送到應用程式,直到客戶回報才發現。
環境
AWS 上的 MySQL 來源與複本拓撲,支援商品目錄、搜尋與報表工作負載。
做法
AceMQ 將套用吞吐量與網路傳遞分開監測,以確定延遲累積在哪裡,接著從兩端著手:讓寫入串流更容易平行套用,並讓讀取層能感知延遲,避免在無聲無息中提供過時資料。
解決方案
- 區分網路傳遞延遲與套用延遲,確認瓶頸在於複本套用而非傳輸
- 啟用以 writeset 追蹤相依性的平行複寫,並依硬體規格調整 worker 執行緒數量
- 將批次作業拆分為有上限的交易大小,避免單一陳述式讓套用串流只能循序進行
- 檢視 binary log 格式與 row image 設定,降低寬資料列更新所產生的複寫量
- 在 proxy 設定可感知延遲的讀取路由,將延遲超過門檻的複本移出讀取池
- 新增與現有 seconds-behind-source 指標分開的套用延遲告警
成效
批次作業期間的複本延遲峰值從數小時降到遠低於一分鐘,過時資料也不再送到客戶手上。即使複本真的落後,可感知延遲的路由現在也會以安全的方式處理。