概要
Lambdaアーキテクチャの難しい判断は、ハンドラーではなくイベントソースで下されます。キューかストリームか、バッチサイズとウィンドウ、順序の保証、同時実行数の上限、そして処理できないメッセージをどう扱うか、といった判断です。これらを誤ると、アプリケーションのバグのように見える問題が生じます。
課題
環境ではキューとストリームが混在しており、どちらを使うかの明確なルールがありませんでした。順序に依存するワークロードが順序を保証しないソースで動いており、バッチサイズはレコードあたりの処理コストに関係なくデフォルトのまま、一部の関数では同時実行数に上限がないため下流のレガシーシステムを過負荷に陥らせ、障害処理も関数ごとにばらばらで、運用担当者には一貫した復旧方法がありませんでした。
環境
キュー、ストリーム、メッセージングシステムからイベントを受け取り、最新のサービス群とキャパシティに制約のあるレガシーバックエンドを連携させるAWS Lambda。AceMQはプラットフォーム上のお客様のイベントアーキテクチャを設計し、プラットフォームの運用はAWSが担います。
アプローチ
AceMQは、各ワークロードを順序の要件、スループット、レコードあたりの処理コスト、下流のキャパシティによって分類し、それぞれの分類に、バッチ処理、同時実行数、障害時のセマンティクスを定義した適切なイベントソースを対応付けました。下流のシステムに厳格な上限がある箇所では、同時実行数の上限を明示的に設定しました。これは後から行うチューニングではなく、設計上の判断だからです。
ソリューション
- ワークロードを、順序の要件、スループット、レコードあたりのコスト、下流のキャパシティで分類
- 各ワークロードの分類が使うべきイベントソースを定義し、その根拠を文書化
- プラットフォームのデフォルトのままにせず、ワークロードごとにバッチサイズとバッチウィンドウを設定
- キャパシティに制約のあるレガシーバックエンドをバーストから守るため、予約済み同時実行数を適用
- 環境全体で、デッドレターの送信先と失敗時の送信先(on-failure destination)を用いた障害処理を標準化
- at-least-onceの配信がデフォルトで安全になるよう、冪等性のパターンを確立
結果
レガシーバックエンドがバーストトラフィックで過負荷になることはなくなり、順序に依存するワークロードは実際に順序を保証するソースへ移行しました。障害からの復旧も、関数ごとの調査ではなく、文書化された1つの手順になりました。