導入事例の一覧に戻る

コンサルティング業界横断

ハンドラーを書く前に、適切なイベントソースを選ぶ

貨物・輸送テクノロジー企業

一貫したイベントアーキテクチャのないまま拡大してきたLambda環境に、イベントソースマッピング、バッチ処理、順序性、障害処理の設計を導入しました。

概要

Lambdaアーキテクチャの難しい判断は、ハンドラーではなくイベントソースで下されます。キューかストリームか、バッチサイズとウィンドウ、順序の保証、同時実行数の上限、そして処理できないメッセージをどう扱うか、といった判断です。これらを誤ると、アプリケーションのバグのように見える問題が生じます。

課題

環境ではキューとストリームが混在しており、どちらを使うかの明確なルールがありませんでした。順序に依存するワークロードが順序を保証しないソースで動いており、バッチサイズはレコードあたりの処理コストに関係なくデフォルトのまま、一部の関数では同時実行数に上限がないため下流のレガシーシステムを過負荷に陥らせ、障害処理も関数ごとにばらばらで、運用担当者には一貫した復旧方法がありませんでした。

環境

キュー、ストリーム、メッセージングシステムからイベントを受け取り、最新のサービス群とキャパシティに制約のあるレガシーバックエンドを連携させるAWS Lambda。AceMQはプラットフォーム上のお客様のイベントアーキテクチャを設計し、プラットフォームの運用はAWSが担います。

アプローチ

AceMQは、各ワークロードを順序の要件、スループット、レコードあたりの処理コスト、下流のキャパシティによって分類し、それぞれの分類に、バッチ処理、同時実行数、障害時のセマンティクスを定義した適切なイベントソースを対応付けました。下流のシステムに厳格な上限がある箇所では、同時実行数の上限を明示的に設定しました。これは後から行うチューニングではなく、設計上の判断だからです。

ソリューション

  1. ワークロードを、順序の要件、スループット、レコードあたりのコスト、下流のキャパシティで分類
  2. 各ワークロードの分類が使うべきイベントソースを定義し、その根拠を文書化
  3. プラットフォームのデフォルトのままにせず、ワークロードごとにバッチサイズとバッチウィンドウを設定
  4. キャパシティに制約のあるレガシーバックエンドをバーストから守るため、予約済み同時実行数を適用
  5. 環境全体で、デッドレターの送信先と失敗時の送信先(on-failure destination)を用いた障害処理を標準化
  6. at-least-onceの配信がデフォルトで安全になるよう、冪等性のパターンを確立

結果

レガシーバックエンドがバーストトラフィックで過負荷になることはなくなり、順序に依存するワークロードは実際に順序を保証するソースへ移行しました。障害からの復旧も、関数ごとの調査ではなく、文書化された1つの手順になりました。

使用テクノロジー

AWS LambdaAmazon SQSKafkaRabbitMQDocker

AWS Lambdaのアーキテクチャについてアドバイスが必要ですか?

AceMQのシニアAWS Lambdaエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。