ブログRedis

Redisの24/7インシデント対応:深夜3時に実際に起きていること

Scott Sternloff

執筆:Scott Sternloff(シニアエンタープライズアーキテクト)

LinkedIn · 更新日: · 6分で読めます

Redisの24/7インシデント対応:深夜3時に実際に起きていること
On this page

どのプロバイダーも24/7を掲げています。しかしこの言葉は2つのまったく異なる商品を指しており、その違いは障害が起きて初めて明らかになります。

ひとつは、お客様のクラスターに対応できるエンジニアに何時でも連絡がつき、明示された対応時間の約束と、担当者が明確なエスカレーションの経路があるものです。もうひとつは、何時でもチケットを受け付けるものの、人による最初の対応は営業時間内になるチケットキューです。どちらもまったく同じように宣伝されています。必要になる前に、自社がどちらを購入しているのかを確かめてください。

最初の15分間

最初の仕事は分類です。Redisは原因ではなく症状にすぎないことが非常に多いからです。確認すべき点は、おおよそ次の順序です。

  • インスタンスに到達でき、応答しているか?PINGに応答するサーバーと応答しないサーバーとでは、別のインシデントです。
  • メモリ逼迫が起きているか?maxmemoryに達してエビクションが動いているかどうかです。Redisを永続的なストアとして扱っていたアプリケーションは、まさに最悪のタイミングでこれに気づくことになります。詳しくはエビクションポリシーの選び方をご覧ください。
  • フェイルオーバーが発生したか、あるいは失敗したか?中途半端に完了したフェイルオーバー(クライアントがもはやプライマリではないノードを向いている状態)は、障害ではなく原因不明の現象として現れます。Redisの高可用性パターンをご覧ください。
  • レプリケーションは健全か?書き込み負荷による遅延があると、診断も、次に安全に取れる手段も変わります。
  • サーバーは実は正常ではないか?正常なRedisに対するクライアント側のタイムアウトはよくあることで、調査をまったく見当違いの方向に導きます。詳しくはサーバーが正常なのにクライアントがタイムアウトする場合をご覧ください。

最初の数分でこの分類を正しく行えるかどうかで、その後の1時間が実りあるものになるか、無駄になるかが決まります。

Redisのインシデント発生から最初の15分間で確認すべき5つの分類の問いと、それぞれが診断をどう変えるか

対応時間は解決時間ではない

対応時間の約束とは、定められた時間内に連絡を取り、作業を開始するという約束です。これは実在し、検証可能な約束です。

解決までの時間は何が問題なのかによって決まり、まだ診断していない問題の解決を約束できる人はいません。解決時間を保証するプロバイダーは、細則で実際のインシデントの大半を除外しているか、守るつもりのない約束をしているかのどちらかです。

書面で取り交わす価値があるのは、重大度別の対応時間、エスカレーションのタイミング(どの時点でエンジニア1人からチームでの対応に切り替わるか)、そして重大度が上がるにつれて具体的に誰が関与するかです。

必要になる前に整えておくべきこと

インシデントの最中は、サポートプロバイダーをオンボーディングするには最悪のタイミングです。以下の項目は、どれも事前なら1時間ほどで済みますが、怠れば障害がおよそ1時間長引きます。

  • アクセス権とトポロジーを事前に共有する。ノードの配置、レプリケーションのトポロジー、SentinelまたはClusterの構成、クライアントの接続パターンです。深夜3時にゼロから始めるエンジニアは、文字どおりゼロからのスタートになります。
  • リアルタイムのメトリクスだけでなく、監視の履歴も。インシデント中に重要なのは何が変わったかであり、それにはベースラインが必要です。
  • 合意済みのエスカレーション経路。切迫した状況で、フェイルオーバー、再起動、設定変更を自社側の誰が承認できるかを決めておきます。
  • プロバイダーが実際に目を通したランブック。再接続の挙動に問題があるアプリケーションや、深夜2時に動くジョブなど、文書化されていない部分も含めます。

Redisのヘルスチェックは、これらすべてを一度に整える一般的な方法であり、その過程で将来のインシデントもいくつか未然に防げることが多いです。

プロバイダーの評価方法

確認すべき質問は4つです。答えがあいまいであれば、それ自体が答えです。

  • 日曜の深夜3時に何が起きるのか?方針ではなく、実際の仕組みを尋ねます。誰が、どのように、どれだけ速く応答するのか。
  • 重大度別の対応時間の約束は、書面でどうなっているか?
  • トポロジーとランブックを事前に預かってもらえるか?インシデントの前にオンボーディングしようとしないプロバイダーは、インシデントの最中にオンボーディングすることになります。
  • エスカレーション先は誰で、いつ対応に入るのか?

AceMQは、営業時間外も含めて本番環境のRedisをサポートしています。トポロジーとエスカレーションの経路を必要になる前に取り決めておきたい場合は、AceMQのRedisサポートをご覧いただくか、お問い合わせください。

本記事はRedisとValkeyのサポート選定ガイドの6ステップ中の5番目です。マネージドキャッシュ、Redis Cloud、セルフマネージドのRedisがそれぞれどんな場合に適しているかは、マネージドRedisの選択肢の比較を、AceMQがお客様自身のインフラ上でRedisを運用する形態についてはRedisマネージドサービスをご覧ください。

FAQ

Redisの24/7インシデント対応とは、実際にはどういう意味ですか?

本来は、対応時間の約束とエスカレーションの経路が定義され、お客様のクラスターに何時でも対応できるエンジニアがいることを意味するべきです。夜間にチケットを受け付けて営業時間内に返信するだけのチケットキューのことではありません。

対応時間と解決時間は同じですか?

いいえ。対応とは連絡を取って作業を開始することです。診断していない問題の解決を約束できる人はいません。

最初の15分間には何をするのですか?

分類です。到達できるかどうか、メモリ逼迫とエビクション、フェイルオーバーの状態、レプリケーションの健全性、あるいは正常なサーバーに対するクライアント側のタイムアウトかを見極めます。

Redisの本番環境で多いインシデントは何ですか?

メモリ逼迫によるエビクション、きれいに完了しなかったフェイルオーバー、書き込み負荷によるレプリケーション遅延、正常なサーバーに対するクライアント側のタイムアウト、そして永続化によるレイテンシーの急上昇です。

インシデントに備えて、事前に何を準備すべきですか?

アクセス権、トポロジー、監視の履歴、ランブックを事前に渡し、フェイルオーバーや再起動を誰が承認できるかを合意しておきます。

プロバイダーはどのように評価すればよいですか?

日曜の深夜3時に何が起きるのかを具体的に尋ね、対応時間の約束を書面で受け取り、インシデントの最中ではなく事前にオンボーディングしてくれるかを確認してください。

Scott Sternloff

著者

Scott Sternloffシニアエンタープライズアーキテクト

AceMQのシニアエンタープライズアーキテクト。RabbitMQ、Kafka、Redisのアーキテクチャ、クラスタリング、移行といった技術記事を担当しています。

Talk to an engineer

Need a hand with Redis?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

ガイド・製品比較・調査レポート

Redisをさらに深く知る

無料相談

お客様のRedis デプロイメントを専門家がチェックします

本番環境のインシデント対応、移行の計画、アーキテクチャのセカンドオピニオンなど、どのようなご相談にもAceMQのチームが対応します。売り込みは一切なく、ご質問に的確にお答えします。

メールで問い合わせる