概要
ある公共機関は、耐久性の要件がそれぞれ異なる複数のワークロードでRedisを運用していましたが、構成は引き継いだ1種類だけでした。ホスト障害が起きたとき、どのデータが残り、どのデータが失われるのかを誰も説明できませんでした。AceMQは、各ワークロードの実際の要件に照らしてこのデプロイを評価しました。
課題
Redisの永続化オプションは、耐久性とレイテンシーをトレードオフするもので、設定を誤りやすく、しかも障害が起きるまでその誤りに気づきにくいものです。この機関のインスタンスは数分間の書き込みを失いうるスナップショット間隔で運用されていた一方で、一部のワークロードは耐久性があるものと思い込まれていました。レプリケーションとフェイルオーバーは一度もテストされておらず、昇格の挙動もフェイルオーバー時のデータ損失も分かっていませんでした。
環境
Sentinelでフェイルオーバーを管理するオンプレミスのRedisインスタンス。キャッシュ、キューイング、セッションのワークロードを支える。
アプローチ
AceMQは、各ワークロードを実際に許容できる損失の大きさで分類し、それを現在の構成が保証している内容と比較しました。フェイルオーバーは意図的に実施し、データ損失は推定ではなく実測しました。これにより、想定と実際の挙動の差を、根拠とともに文書化しました。
ソリューション
- 各ワークロードを許容できるデータ損失で分類し、構成が実際に保証している内容と比較
- インスタンスごとのスナップショット間隔とAOF(追記専用ファイル)のfsyncポリシーを、要件に照らしてレビュー
- Sentinelのフェイルオーバーを意図的に実施し、実際のデータ損失と昇格にかかる時間を測定
- レプリケーションのトポロジー、クォーラムの構成、スプリットブレインのリスクを評価
- 既存の永続化ファイルからのリストア手順を、時間を計測した復旧テストで検証
- ワークロードごとの耐久性マトリクスと、各ギャップを解消するために必要な構成変更をまとめて提出
結果
この機関は、一度も検証されていなかった思い込みに代わり、各ワークロードが何に耐えられるのかを根拠とともに文書化した説明を手にしました。耐久性があると考えられていた2つのワークロードが実はそうではないことが判明し、障害で露呈する前に再構成されました。