概要
ある入札プラットフォームは、リクエストごとに厳格なレイテンシーの上限のもとで稼働しており、周期的なタイムアウトによってオークションを取りこぼしていました。Redisの平均レイテンシーは問題なく見えましたが、p99.9には数百ミリ秒のスパイクが一定の間隔で現れていました。AceMQは緊急対応SLAのもとで対応を開始しました。
課題
スパイクの間隔は、RDBスナップショットのスケジュールと一致していました。大きなRedisプロセスをforkするとページテーブルがコピーされますが、Transparent Huge Pagesが有効だと、fork後のコピーオンライトのコストが何倍にも膨らみます。共有されたヒュージページへの書き込みのたびに、4キロバイトではなく2メガバイトのコピーが発生するためです。この影響は平均レイテンシーには表れず、このワークロードが重視するテールにだけ現れていました。
環境
厳格なレイテンシーの上限のもとでリアルタイム入札の判定を提供する、ベアメタルのLinuxホスト上のRedis。
アプローチ
AceMQは、スパイクのタイムスタンプをRedisのログに記録されたforkの所要時間やカーネルのメモリ統計と突き合わせ、仕組みを推測ではなく確認しました。修正は、ホストの設定、永続化の戦略、そして各forkのコストを高くしていたメモリ使用量を対象としました。
ソリューション
- テールレイテンシーのスパイクを、ログに記録されたforkの所要時間やカーネルのメモリ統計と突き合わせ、仕組みを確認
- RedisホストでTransparent Huge Pagesを無効にし、forkのコストに対する変更の効果を検証
- スナップショットの役割をレプリカに移し、リクエストを処理するプライマリがforkしないように変更
- 永続化の戦略とリライトのしきい値を、プラットフォームの実際の耐久性要件に照らして見直し
- キー構造の変更によってインスタンスあたりのメモリ使用量を削減し、残るforkのコストも低減
- テールレイテンシーのパーセンタイルとforkの所要時間を、最重要の監視シグナルとして計測
結果
周期的なテールのスパイクは消え、p99.9のレイテンシーはプラットフォームの上限内に戻りました。キャッシュ層に起因するオークションのタイムアウトもなくなりました。