概要
ある決済プラットフォームで、それまで1桁ミリ秒で完了していた書き込みが数秒間止まるようになりました。サーバーのメトリクスでは、WiredTigerキャッシュがエビクションのトリガー値に張り付き、アプリケーションスレッドがページのエビクションに駆り出されていました。AceMQのエンジニアはプランに応じた15分からの対応目標に基づいて対応に入り、お客様のDBAチームと共にインシデントに当たりました。
課題
ワーキングセットがWiredTigerキャッシュの割り当てを超えていたため、読み取りのキャッシュミスがホットパス上でダーティページのエビクションを強いていました。アプリケーションスレッドがエビクションに参加し始めると、レイテンシーは非線形に跳ね上がり、上流のコネクションプールが飽和しました。症状が遅いクエリではなくクライアント側のタイムアウトとして現れていたため、チームはネットワークの問題として扱っていました。
環境
ベアメタル上のMongoDBレプリカセット。大量のトランザクションを処理するオーソリゼーションサービスを支えています。
アプローチ
AceMQは、serverStatusのエビクションカウンター、キャッシュのダーティ率、チェックポイント時間をアプリケーションのレイテンシーのヒストグラムと突き合わせ、根本原因がディスクやネットワークではなくエビクションであることを確認しました。そのうえで作業を、圧力を即座に緩和する対策と、ワーキングセットが再びキャッシュに収まるようインデックスとドキュメントのフットプリントを恒久的に改善する対策に分けて進めました。
ソリューション
- WiredTigerのエビクションカウンター、キャッシュのダーティ率、チェックポイント時間をクライアント側のレイテンシーと相関分析し、真のボトルネックを特定
- デフォルトの「RAMの半分」という目安ではなく、実際のホストメモリとコンテナの制限に合わせてcacheSizeGBを再調整
- どのクエリパターンにも使われずにキャッシュを消費していた冗長な複合インデックスを特定して削除
- 負荷の大きい2つのコレクションを見直し、ドキュメントサイズを削減して配列の際限ない肥大化を解消
- エビクション圧力、キャッシュのダーティ率、チェックポイント時間をアラートのベースラインに追加し、アプリケーションスレッドに影響が及ぶ前に検知
結果
エビクションはバックグラウンドスレッドで処理されるようになり、書き込みレイテンシーも通常の範囲に戻って、クライアントのタイムアウトは完全になくなりました。お客様は現在、キャッシュ圧力の早期警告シグナルと、今後のデータ増加に備えた文書化済みのサイジングモデルを手にしています。