概要
ある予約プラットフォームでは、障害のコストが最も大きいセール期間のピーク時に限って、デッドロックとロック待ちタイムアウトが急増していました。アプリケーションがエラーを無条件にリトライしていたため、競合はさらに悪化していました。AceMQは、専任のシニアエンジニアと直接のエスカレーション経路を備えた体制で、MySQLのサポートを引き継ぎました。
課題
InnoDBのロック競合がチューニングだけで解決することはまれで、原因はたいていアプリケーションコードにおけるステートメントの順序とトランザクションの範囲にあります。さらに事態を複雑にしていたのが、長時間にわたってリードビューを開いたままにするレポートジョブでした。これによってInnoDBのヒストリーリストが増大し、影響を受けるすべてのクエリがより長いundoチェーンをたどる必要が生じていました。負荷がかかると、この2つの問題は互いを悪化させていました。
環境
オンプレミスとクラウドのキャパシティにまたがり、予約と決済のワークフローを支えるMySQLクラスター。
アプローチ
AceMQは、デッドロックの記録とロック待ちの診断情報を読み解いて実際に競合しているステートメントの組み合わせを特定し、それらを生み出しているアプリケーションのトランザクションまでさかのぼりました。修正の対象はトランザクションの範囲とアクセスの順序とし、設定変更は本当に効果がある場合に限って用いました。
ソリューション
- デッドロックの記録とロック待ちの診断情報を分析し、競合している具体的なステートメントの組み合わせを特定
- 競合をアプリケーションのトランザクションまでさかのぼり、原因となっていた行アクセスの順序を修正
- 行ロックを保持したまま外部呼び出しが実行されないよう、トランザクションの範囲を縮小
- ヒストリーリスト増大の原因となっていた長時間実行のレポート用リードビューを特定し、専用のレプリカに移行
- 競合が自己増幅しないよう、アプリケーションの無条件リトライを上限付きのバックオフに置き換え
- ピーク時のインシデントに備え、プランに応じた15分からの対応目標を掲げた、シニアエンジニアへの24/7のエスカレーション体制を確立
結果
ピーク時のデッドロックの件数は大幅に減り、ロック待ちタイムアウトは日常的なものからまれなものになりました。ヒストリーリストの長さも横ばいを保つようになり、無関係なクエリまで遅くしていたundoチェーンのオーバーヘッドが解消されました。