概覽
一個訂位平台在促銷尖峰期間,死結與鎖定等待逾時急遽增加,偏偏這正是故障代價最高的時刻。應用程式盲目地重試這些錯誤,反而加劇了爭用。AceMQ 接手 MySQL 技術支援,由專屬資深工程師負責,並提供直接升級管道。
挑戰
InnoDB 鎖定爭用很少能單靠調校解決,問題通常來自應用程式碼中的陳述式順序與交易範圍。更棘手的是,一項報表作業會長時間維持開啟的 read view,導致 InnoDB history list 持續成長,讓每一個受影響的查詢都必須走過更長的 undo 鏈。這兩個問題在負載下相互加劇。
環境
橫跨地端與雲端容量的 MySQL 叢集,支撐訂位與付款工作流程。
做法
AceMQ 解讀死結紀錄與鎖定等待診斷資訊,找出實際相互衝突的陳述式組合,再追溯到產生這些陳述式的應用程式交易。修正重點放在交易範圍與存取順序,只有在真正有幫助的地方才調整設定。
解決方案
- 分析死結紀錄與鎖定等待診斷資訊,找出具體相互衝突的陳述式組合
- 將衝突追溯至應用程式交易,並修正造成衝突的資料列存取順序
- 縮小交易範圍,讓外部呼叫不再於持有資料列鎖定期間執行
- 找出導致 history list 成長的長時間報表 read view,並將其移至專用的複本
- 以有上限的退避重試取代應用程式的盲目重試,讓爭用不再自我放大
- 建立 24/7 直通資深工程師的升級管道,並針對尖峰期間事件提供依方案而定、最快 15 分鐘起的回應目標
成效
尖峰期間的死結數量大幅下降,鎖定等待逾時也從家常便飯變得罕見。history list 長度現在維持平穩,消除了先前拖慢其他無關查詢的 undo 鏈負擔。