導入事例の一覧に戻る

是正対応ソフトウェア・デジタルプラットフォーム

p99.9にしか現れないレイテンシースパイクを突き止める

リアルタイム入札プラットフォーム

Transparent Huge Pagesによって増幅されたRDBスナップショットのforkによる停止が原因だった、周期的な数百ミリ秒のレイテンシースパイクを解消しました。

概要

ある入札プラットフォームは、リクエストごとに厳格なレイテンシーの上限のもとで稼働しており、周期的なタイムアウトによってオークションを取りこぼしていました。Redisの平均レイテンシーは問題なく見えましたが、p99.9には数百ミリ秒のスパイクが一定の間隔で現れていました。AceMQは緊急対応SLAのもとで対応を開始しました。

課題

スパイクの間隔は、RDBスナップショットのスケジュールと一致していました。大きなRedisプロセスをforkするとページテーブルがコピーされますが、Transparent Huge Pagesが有効だと、fork後のコピーオンライトのコストが何倍にも膨らみます。共有されたヒュージページへの書き込みのたびに、4キロバイトではなく2メガバイトのコピーが発生するためです。この影響は平均レイテンシーには表れず、このワークロードが重視するテールにだけ現れていました。

環境

厳格なレイテンシーの上限のもとでリアルタイム入札の判定を提供する、ベアメタルのLinuxホスト上のRedis。

アプローチ

AceMQは、スパイクのタイムスタンプをRedisのログに記録されたforkの所要時間やカーネルのメモリ統計と突き合わせ、仕組みを推測ではなく確認しました。修正は、ホストの設定、永続化の戦略、そして各forkのコストを高くしていたメモリ使用量を対象としました。

ソリューション

  1. テールレイテンシーのスパイクを、ログに記録されたforkの所要時間やカーネルのメモリ統計と突き合わせ、仕組みを確認
  2. RedisホストでTransparent Huge Pagesを無効にし、forkのコストに対する変更の効果を検証
  3. スナップショットの役割をレプリカに移し、リクエストを処理するプライマリがforkしないように変更
  4. 永続化の戦略とリライトのしきい値を、プラットフォームの実際の耐久性要件に照らして見直し
  5. キー構造の変更によってインスタンスあたりのメモリ使用量を削減し、残るforkのコストも低減
  6. テールレイテンシーのパーセンタイルとforkの所要時間を、最重要の監視シグナルとして計測

結果

周期的なテールのスパイクは消え、p99.9のレイテンシーはプラットフォームの上限内に戻りました。キャッシュ層に起因するオークションのタイムアウトもなくなりました。

使用テクノロジー

RedisLinuxKubernetesPrometheus

Redisの本番環境で問題が発生していますか?

AceMQのシニアRedisエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。