概要
あるマーケットプレイス運営企業は、商品検索とレポーティングをリードレプリカから提供していました。夜間の在庫照合の時間帯になるとレプリカの遅延が膨らみ、顧客が気づくほど古いデータが返されるようになっていました。AceMQは原因の特定と修正を依頼されました。
課題
レプリケーションのストリームにはバッチジョブによる非常に大きな単一トランザクションが含まれており、レプリカでの適用処理は事実上それらの後ろに直列化されていました。バッチが幅の広い行を更新していたため、行ベースのバイナリログがデータ量をさらに増幅させていました。読み取りトラフィックは遅延をまったく考慮せずにレプリカへルーティングされていたため、古いデータは顧客から報告されるまで気づかれないままアプリケーションに届いていました。
環境
カタログ、検索、レポーティングのワークロードを支える、AWS上のMySQLのソースとレプリカのトポロジー。
アプローチ
AceMQは、ネットワーク上の転送とは別に適用処理のスループットを計測し、遅延がどこで蓄積しているかを明らかにしたうえで、両面から対策しました。書き込みストリームを並列に適用しやすくすること、そして古いデータが黙って返されないよう、読み取り層に遅延を認識させることです。
ソリューション
- ネットワーク転送の遅延と適用処理の遅延を切り分け、ボトルネックが転送ではなくレプリカでの適用処理であることを確認
- writesetベースの依存関係追跡による並列レプリケーションを有効化し、ワーカースレッド数をハードウェアに合わせて設定
- バッチジョブをトランザクションサイズの上限を設けて分割し、単一の文が適用ストリームを直列化しないように変更
- バイナリログの形式と行イメージの設定を見直し、幅の広い行の更新によるレプリケーション量を削減
- プロキシで遅延を考慮した読み取りルーティングを設定し、しきい値を超えて遅れたレプリカを読み取りプールから除外
- 既存のseconds-behind-sourceメトリクスとは別に、適用処理の遅延に対するアラートを追加
結果
バッチ処理の時間帯におけるレプリカの最大遅延は数時間から1分を大きく下回るまでに短縮され、古いデータが顧客に届くこともなくなりました。遅延を考慮したルーティングにより、仮にレプリカが遅れても安全側に倒れるようになっています。