導入事例の一覧に戻る

サポート業界横断

シニアMySQLエンジニアによる24/7サポートとプランに応じた15分からの対応目標

旅行予約プラットフォーム

予約処理の同時実行に伴うデッドロックとロック待ちタイムアウト、そして長時間実行されるトランザクションによるヒストリーリストの増大に継続的に対応するサポートです。

概要

ある予約プラットフォームでは、障害のコストが最も大きいセール期間のピーク時に限って、デッドロックとロック待ちタイムアウトが急増していました。アプリケーションがエラーを無条件にリトライしていたため、競合はさらに悪化していました。AceMQは、専任のシニアエンジニアと直接のエスカレーション経路を備えた体制で、MySQLのサポートを引き継ぎました。

課題

InnoDBのロック競合がチューニングだけで解決することはまれで、原因はたいていアプリケーションコードにおけるステートメントの順序とトランザクションの範囲にあります。さらに事態を複雑にしていたのが、長時間にわたってリードビューを開いたままにするレポートジョブでした。これによってInnoDBのヒストリーリストが増大し、影響を受けるすべてのクエリがより長いundoチェーンをたどる必要が生じていました。負荷がかかると、この2つの問題は互いを悪化させていました。

環境

オンプレミスとクラウドのキャパシティにまたがり、予約と決済のワークフローを支えるMySQLクラスター。

アプローチ

AceMQは、デッドロックの記録とロック待ちの診断情報を読み解いて実際に競合しているステートメントの組み合わせを特定し、それらを生み出しているアプリケーションのトランザクションまでさかのぼりました。修正の対象はトランザクションの範囲とアクセスの順序とし、設定変更は本当に効果がある場合に限って用いました。

ソリューション

  1. デッドロックの記録とロック待ちの診断情報を分析し、競合している具体的なステートメントの組み合わせを特定
  2. 競合をアプリケーションのトランザクションまでさかのぼり、原因となっていた行アクセスの順序を修正
  3. 行ロックを保持したまま外部呼び出しが実行されないよう、トランザクションの範囲を縮小
  4. ヒストリーリスト増大の原因となっていた長時間実行のレポート用リードビューを特定し、専用のレプリカに移行
  5. 競合が自己増幅しないよう、アプリケーションの無条件リトライを上限付きのバックオフに置き換え
  6. ピーク時のインシデントに備え、プランに応じた15分からの対応目標を掲げた、シニアエンジニアへの24/7のエスカレーション体制を確立

結果

ピーク時のデッドロックの件数は大幅に減り、ロック待ちタイムアウトは日常的なものからまれなものになりました。ヒストリーリストの長さも横ばいを保つようになり、無関係なクエリまで遅くしていたundoチェーンのオーバーヘッドが解消されました。

使用テクノロジー

MySQLProxySQLPrometheusKubernetes

MySQLの専門家によるサポートが必要ですか?

AceMQのシニアMySQLエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。