導入事例の一覧に戻る

是正対応金融サービス・決済

停滞したElasticsearchクラスターを、データを失わずにGreenへ戻す

グローバル決済代行企業

データノードの障害後、ディスクのウォーターマークによってレプリカの割り当てが阻まれ、Greenに戻らなくなったElasticsearchクラスターを緊急に復旧しました。

概要

ある決済プラットフォームで、ハードウェア障害によりデータノードが1台失われ、クラスターはGreenに戻りませんでした。レプリカシャードは何日も未割り当てのままで、検索トラフィックは単一のコピーで処理されていました。インデックスは、あと1回障害が起きれば本当にデータを失う状態にありました。

課題

残ったノードはディスクのflood-stageウォーターマークを超えていたため、Elasticsearchはインデックスにread-only-allow-deleteのブロックを適用し、欠けたレプリカの割り当てを拒否していました。allocation explainの出力はウォーターマークを指していましたが、そのブロックが予定していたdelete-by-queryによるクリーンアップも妨げていたため、チームは空き容量を確保できずにいました。その間にも、ホットインデックスのトランザクションログは増え続けていました。

環境

ベアメタル上の約20台のデータノードからなるElasticsearchクラスター。Hot-Warmの階層構成で、数TBのトランザクションと監査のデータがインデックス化されています。

アプローチ

AceMQのエンジニアは、推測ではなくallocation explain APIから着手し、ブロックを安全に解除できる順序でディスクの逼迫を解消していきました。古いインデックスをWarm層へ移し、読み取り専用のセグメントをforce mergeして削除済みドキュメントの領域を回収したうえでインデックスのブロックを解除し、リカバリー速度を抑えたまま割り当てを再開させて、再構築中にクラスターが自らのネットワークを飽和させないようにしました。

ソリューション

  1. 未割り当ての各シャードについてクラスターのallocation explainの出力を確認し、原因が破損ではなくウォーターマークであることを確認
  2. 古いインデックスをWarm層のノードへ移し、読み取り専用のインデックスをforce mergeして削除済みドキュメントの領域を回収
  3. flood stageを再び超えないよう、空き容量を確保した後にのみread-only-allow-deleteのブロックを解除
  4. 再構築中はindices.recovery.max_bytes_per_secを抑え、レプリカのリカバリーがライブのクエリトラフィックを圧迫しないように調整
  5. 現実的な余裕を持たせたlow/high/floodのウォーターマークを明示的に設定し、highウォーターマークに達する前に発報するディスクアラートを追加
  6. お客様のオンコール担当がエスカレーションなしで同じ状態を解消できるよう、復旧のランブックを文書化

結果

クラスターは、すべてのレプリカが割り当てられ、インデックスを1つも失うことなくGreenに戻りました。ウォーターマークのアラートがflood stageよりかなり前に発報するようになったため、お客様が再び読み取り専用のブロックに遭遇することはなく、ノードの交換もインシデントではなく日常的な保守作業になっています。

使用テクノロジー

ElasticsearchKibanaLinuxKubernetes

Elasticsearchの本番環境で問題が発生していますか?

AceMQのシニアElasticsearchエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。