返回所有使用案例

問題修復跨產業

讓複本恢復同步,並持續保持同步

電子商務平台營運商

解決批次作業期間複本延遲長達數小時的問題,原因是單執行緒套用無法跟上大型多列交易。

概覽

一家電商平台營運商透過唯讀複本提供商品搜尋與報表服務。在每晚的庫存對帳期間,複本延遲越拉越大,讀取到的過時資料連客戶都察覺得到。AceMQ 受託找出並修正原因。

挑戰

複寫串流中含有批次作業產生的超大型單一交易,複本上的套用實際上被它們卡住而只能循序進行。由於批次更新的是欄位很多的寬資料列,以資料列為基礎的 binary log 又進一步放大了資料量。讀取流量在完全不考慮延遲的情況下被導向複本,因此過時資料在無人察覺的情況下送到應用程式,直到客戶回報才發現。

環境

AWS 上的 MySQL 來源與複本拓撲,支援商品目錄、搜尋與報表工作負載。

做法

AceMQ 將套用吞吐量與網路傳遞分開監測,以確定延遲累積在哪裡,接著從兩端著手:讓寫入串流更容易平行套用,並讓讀取層能感知延遲,避免在無聲無息中提供過時資料。

解決方案

  1. 區分網路傳遞延遲與套用延遲,確認瓶頸在於複本套用而非傳輸
  2. 啟用以 writeset 追蹤相依性的平行複寫,並依硬體規格調整 worker 執行緒數量
  3. 將批次作業拆分為有上限的交易大小,避免單一陳述式讓套用串流只能循序進行
  4. 檢視 binary log 格式與 row image 設定,降低寬資料列更新所產生的複寫量
  5. 在 proxy 設定可感知延遲的讀取路由,將延遲超過門檻的複本移出讀取池
  6. 新增與現有 seconds-behind-source 指標分開的套用延遲告警

成效

批次作業期間的複本延遲峰值從數小時降到遠低於一分鐘,過時資料也不再送到客戶手上。即使複本真的落後,可感知延遲的路由現在也會以安全的方式處理。

技術

MySQLProxySQLPrometheusLinux

正面臨 MySQL 正式環境問題嗎?

AceMQ 的資深 MySQL 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。