このページの内容
Elasticsearchのアップグレードは、当初の見た目以上にリスクが高く、運用の手間がかかるものとして知られています。そして、実際の事例もそれを裏付けています。記録に残るある事例では、Elasticsearchのアップグレードが当初のスケジュールを大きく超えて18か月停滞しました。原因は、最初の段階で十分に見込まれていなかった中間リリースの要件と、継続的な運用負担でした。
この記事では、Elasticsearchのアップグレードを実際に停滞させる要因と、停滞しないアップグレードの計画方法を解説します。
Elasticsearchのアップグレードは、なぜ他のインフラのアップグレードより停滞しやすいのか
2つの構造的な要因があり、そのどちらも、実際に停滞したアップグレードの事例にそのまま現れていました。
- 中間バージョンの要件。成熟した分散システムの多くと同じく、Elasticsearchも、古いメジャーバージョンから現行バージョンへの直接のアップグレードを常にサポートしているわけではありません。中間のアップグレード段階が必要になることが多く、段階ごとに検証、テスト、そして(多くの場合)メンテナンス時間が必要です。実際の事例では、アップグレードの途中でElasticsearchの中間リリースの要件が議論の対象として具体的に浮上していました。つまり、チームは作業の途中で、経路が1回の移行では済まないことに気づいたのです。これは、作業開始前にバージョンの経路全体を洗い出しておけば避けられる、よくある計画上の抜け漏れです。
- リソースの確保と優先順位。厳密には必須でない(スケジュールを迫るEOLが目前に迫っていない)アップグレードは、他の作業と同じエンジニアの時間を奪い合うと、真っ先に後回しにされます。停滞した事例では、チームの関係メンバーの長期の病気休職が遅延の直接の要因として挙げられていました。外部からの明確な期限がないインフラのアップグレードプロジェクトでは、人員の余裕がいかに乏しいことが多いかを示しています。
複数バージョンをまたぐElasticsearchのアップグレードを始める前に、何を確認すべきか
- 開始と終了のバージョンだけでなく、バージョンの経路全体をまず洗い出す。目標とするアップグレードに中間地点が必要かどうかを確認し、全体の移行を1つの連続したプロジェクトとして計画・実行できると想定するのではなく、各中間バージョンをそれぞれの検証のチェックポイントとして扱ってください。
- 最終的な目標だけでなく、すべての中間バージョンでクライアントとアプリケーションの互換性を確認する。古いElasticsearchのクライアントライブラリで構築されたアプリケーションは、最終的な目標バージョンとは互換性があっても、中間バージョンのAPIに対しては異なる挙動をしたり、完全に失敗したりすることがあります。
- 再インデックスにかかる時間とリソースのコストを見込む。Elasticsearchのメジャーバージョンアップグレードでは、データを新しいインデックス形式に再インデックスする必要がよくあります。大きなインデックスでは、これはすぐに終わる作業ではありません。CPU、メモリ、ディスクI/Oを大量に消費するため、付随的な手順として扱うのではなく、独立したプロジェクトのフェーズとしてスケジュールとリソースを確保する必要があります。
- 他の優先事項と競合するパートタイムの担当ではなく、時間を確保した専任の責任者を決める。18か月停滞した事例は、アップグレードの責任者の時間が守られていないと何が起きるのかをそのまま示しています。プロジェクトは劇的に失敗するのではなく、ただ静かに進まなくなるのです。
メジャーバージョンアップグレードでは、アップグレード作業そのもの以外にどのような運用負担が生じるのか
Elasticsearchのアップグレードでは、クラスターの設定、インデックス管理、監視に潜んでいた問題が表面化しがちです。旧バージョンでは何の妨げにもならなかったものが、新バージョンで目に見えるようになったり、新たな問題になったりするのです。次の作業に時間を見込んでください。
- インデックスライフサイクル管理(ILM)ポリシーの検証:旧バージョンのデフォルトのもとで機能していた設定が、新バージョンのデフォルトでは異なる挙動をする場合があります
- プラグインと連携の互換性:特定のElasticsearchバージョンに結びついたLogstash、Kibana、サードパーティの連携は、それぞれ互換性を確認する必要があります
- クラスターのヘルス監視の変更:新しいバージョンではAPIレベルで「正常」の見え方が変わることがあり、旧バージョンのステータスの意味を前提とした既存のアラートルールが誤作動する場合があります
インプレースでアップグレードすべきか、新しいクラスターを立てて移行すべきか
どちらも有効な方法です。適切な選択は、現在のクラスターの安定性がどれだけの運用リスクを許容できるか、そして並行環境のためにどれだけのインフラ予算を確保できるかによって決まります。
- インプレースのローリングアップグレードは、小規模なクラスターでは一般に実行が速く、インフラを二重に用意する必要もありません。ただし、本番クラスターがアップグレードの経路に直接置かれるため、アップグレードの途中で問題が起きたときに、きれいにロールバックする余地は小さくなります。
- 再インデックスと切り替えを伴う並行クラスターでは、きれいなロールバック地点を確保できます(新しいクラスターに確信が持てるまで、旧クラスターは動き続けます)。その代わり、一時的にインフラを二重に運用する必要があり、切り替えまで新しいクラスターを最新の状態に保つためのデータ同期や再インデックスの戦略も必要になります。
特に複数のメジャーバージョンをまたぐ移行では、前述の停滞した事例のように中間バージョンの互換性がすでに既知のリスクとなっているため、並行クラスターの方が安全な選択であることが多いです。切り替えの準備が整うまで、アップグレードのリスクを本番のトラフィックから完全に切り離せるからです。
Elasticsearchのアップグレードが18か月も停滞するプロジェクトにならないようにするには
- スケジュールを確定する前に、すべての中間地点を含むバージョンの経路全体を最初に洗い出す。中間バージョンの要件にプロジェクトの途中で気づくことのないようにします。
- 時間を確保した専任の責任者を割り当てる。ほかの責任で手一杯の人の片手間の作業としてアップグレードを扱わないでください。その責任者が対応できなくなった場合(病気、異動、退職など)に、プロジェクトが静かに停滞するのを放置せず、どう継続するかの計画を明確にしておきます。
- 可能であれば、実際の強制力を持つ要因に結びついた明確な期限を設定する。迫っているEOLの日付、セキュリティ要件、別のプロジェクトからの依存などです。外部の期限がないアップグレードこそ、無期限に後回しにされやすいからです。
- 機械的なアップグレード手順だけでなく、再インデックスと検証の時間を明確に見込む。メジャーバージョンの移行で実際に時間がかかるのは、たいていそこだからです。
Elasticsearchのアップグレードがすでに停滞している場合は
中断したところから再開するのではなく、スコープの見直しからやり直してください。プロジェクトが停滞してから、バージョンを取り巻く状況(新たな中間バージョンの要件、新しいEOLの日付、連携先の互換性の変化)が変わっていないかを確認し、明確な責任者を改めて割り当て、リソースの裏付けのある具体的なスケジュールを設定してから作業を再開します。スコープを見直さずに再開した停滞中のアップグレードは、同じ根本的な理由で再び停滞しがちです。
ダウンタイムなしでインフラのメジャーバージョンアップグレードを計画する際の参考として、RabbitMQ 3.xから4.xへのダウンタイムなしのアップグレードをご覧ください。ローリングと並行環境のトレードオフは、そのまま当てはまります。
停滞中または予定しているElasticsearchのアップグレードについて相談する
停滞しているElasticsearchのメジャーバージョンアップグレードや、これから予定しているアップグレードに取り組んでいませんか?AceMQは、スケジュールを確定する前に、すべての中間段階を洗い出し、クライアントとプラグインの互換性を検証し、再インデックスにかかる時間を見積もるバージョン経路の評価を実施しています。Elasticsearchサポートをご利用いただくか、アップグレードの経路についてAceMQのエンジニアに相談してください。
よくある質問
Elasticsearchのアップグレードは、なぜ他のインフラのアップグレードより停滞しやすいのですか?
2つの構造的な要因があります。1つは中間バージョンの要件で、アップグレードが複数の段階に分かれ、段階ごとに検証とメンテナンス時間が必要になります。もう1つは人員の手薄さで、明確なEOLの期限がないアップグレードは、他のプロジェクトとエンジニアの時間を奪い合うと真っ先に後回しにされます。実際の事例ではその両方が起きており、事前に把握できていなかった中間バージョンの要件と、チームメンバーの病気休職が重なって、プロジェクトが18か月停滞しました。
複数バージョンをまたぐElasticsearchのアップグレードを始める前に、何を確認すべきですか?
開始と終了のバージョンだけでなく、すべての中間地点を含むバージョンの経路全体をまず洗い出してください。各中間バージョンでのクライアントとアプリケーションの互換性を確認し、再インデックスにかかる時間とリソースのコストを明確に見込み、片手間の作業として扱うのではなく、時間を確保した専任の責任者を割り当ててください。
Elasticsearchのメジャーバージョンアップグレードでは、アップグレード作業そのもの以外にどのような運用負担が生じますか?
インデックスライフサイクル管理(ILM)ポリシーの検証に時間を見込んでください。旧バージョンのデフォルトが新バージョンでは異なる挙動をすることがあるためです。特定のバージョンに結びついたLogstash、Kibana、サードパーティツールについては、プラグインと連携の互換性確認も必要です。さらに、クラスターのヘルス監視の変更も見込む必要があります。新しいバージョンではAPIレベルで「正常」の意味が変わることがあり、既存のアラートルールが誤作動する場合があるからです。
Elasticsearchはインプレースでアップグレードすべきですか、それとも新しいクラスターを立てて移行すべきですか?
どちらも有効な方法です。インプレースのローリングアップグレードは小規模なクラスターでは速く済みますが、本番環境がアップグレードの経路に直接置かれ、ロールバックの余地は小さくなります。再インデックスと切り替えを伴う並行クラスターは、一時的にインフラが二重にかかるものの、きれいなロールバック地点を確保できます。中間バージョンの互換性がすでに既知のリスクとなっている、複数のメジャーバージョンをまたぐ移行では、通常は並行クラスターの方が安全な選択です。
Elasticsearchのアップグレードが18か月も停滞するプロジェクトにならないようにするには、どうすればよいですか?
スケジュールを確定する前に、すべての中間地点を含むバージョンの経路全体を最初に洗い出してください。時間を確保した専任の責任者を割り当て、その人が対応できなくなった場合の継続計画も明確にしておきます。実際の強制力を持つ要因に結びついた明確な期限を設定し、再インデックスと検証の時間を、機械的なアップグレード手順に含めてしまうのではなく、別途明確に見込んでください。
Elasticsearchのアップグレードがすでに停滞している場合は、どうすればよいですか?
中断したところから再開するのではなく、スコープの見直しからやり直してください。プロジェクトが停滞してから、新たな中間バージョンの要件、新しいEOLの日付、連携の互換性の変化など、バージョンを取り巻く状況が変わっていないかを確認し、明確な責任者を改めて割り当て、リソースの裏付けのある具体的なスケジュールを設定してから作業を再開します。
停滞したElasticsearchのアップグレードが、技術的な行き止まりであることはまれです。ほとんどの場合、原因はスコープと責任の所在のギャップにあります。再開する前に、バージョンの経路全体を洗い出し、責任者の時間を守り、実際の期限を設定してください。