導入事例の一覧に戻る

コンサルティングソフトウェア・デジタルプラットフォーム

下流が止まっても、データの損失ではなく遅延で済む取り込みアーキテクチャ

デジタルコマースプラットフォーム

バッファリング用のキュー、インジェストノードのパイプライン、スキーマの標準化を軸に、ELKの取り込みアーキテクチャを再設計するコンサルティングを実施しました。

概要

あるコマースプラットフォームでは、ELKの取り込みが脆弱で、Elasticsearchの速度低下がそのままログを出力するアプリケーションにまで波及していました。AceMQは、ログの生成側を検索クラスターから切り離すバッファリング型のアーキテクチャを設計しました。

課題

BeatsはLogstash層に直接データを送り、Logstash層はElasticsearchへ同期的に書き込んでいたため、インデックス処理が少しでも遅れると、バックプレッシャーがログの生成側まで伝わっていました。クラスターのメンテナンス中は、データの損失を受け入れるか、アプリケーションをブロックするかしか選択肢がありませんでした。さらに、チームごとにフィールドの命名が異なっていたため、サービスをまたいでリクエストを突き合わせるには、同じ識別子の3通りの名前を知っている必要があり、それらすべてを処理するパース処理は、ますます保守困難になっていく1つのLogstash設定に詰め込まれていました。

環境

数十のサービスからログを取り込むKubernetes上のELK。ログの量も、関わるチームの数も増え続けている。

アプローチ

ログの生成とインデックス処理の間に耐久性のあるバッファを導入し、両者が互いに独立して障害を起こせるようにしました。単純なパース処理は本来あるべきElasticsearchのインジェストパイプラインに移し、共通スキーマに標準化することで、サービスごとのパース処理はほぼ不要になりました。設計は段階的に進め、各チームが一斉切り替えではなく少しずつ移行できるようにしました。

ソリューション

  1. シッパーとインデックス層の間に耐久性のあるメッセージキューを導入し、クラスターのメンテナンスがデータの損失ではなく遅延で済むように
  2. 単純なパースとエンリッチメントをElasticsearchのインジェストパイプラインに移し、Logstashはその機能が必要な箇所にだけ残す構成に
  3. 共有フィールドに共通スキーマを採用し、サービスをまたぐ突き合わせに、チームごとのフィールド知識が不要に
  4. 単一の巨大な設定ではなく、担当者が明確で独立してデプロイできる単位に、サービスごとのパイプライン定義を分割
  5. デッドレターの扱いを定義し、パースできないイベントを破棄したり処理を止めたりせず、レビュー用に保存
  6. 移行期間中は2系統を並行稼働させ、チームがサービス単位で移行できる段階的な移行計画

結果

Elasticsearchのメンテナンスがログの生成側に影響することはなくなりました。メンテナンスの時間帯はバッファが吸収し、終了後に順次排出されます。パイプラインへの新しいサービスの追加は、共有設定の変更から、担当者が明確な独立したデプロイへと変わりました。

使用テクノロジー

ELK StackLogstashKafkaElasticsearchKubernetes

ELK Stackのアーキテクチャについてアドバイスが必要ですか?

AceMQのシニアELK Stackエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。