概要
VPCに接続されたLambda関数がスケールするには、ネットワークインターフェースとサブネットのIPアドレスが必要です。小さなサブネットを他のワークロードと共有していると、同時Invocationのバーストで利用可能なアドレスが枯渇し、コードが実行される前に関数が失敗します。アプリケーションログに何も残らないのはそのためです。
課題
市場の寄り付き時のバーストで、一部のInvocationがネットワークエラーで失敗し、アプリケーションログには何も出力されていませんでした。関数は、他のサービスと共有する2つの小さなサブネットに接続されていました。さらに、Invocationのたびにハンドラーのスコープで新しいデータベースコネクションを開いており、再利用していなかったため、バーストが起きるとサブネットのアドレスとデータベースのコネクション上限が同時に枯渇していました。
環境
プライベートなデータベースや社内サービスにアクセスする、VPC接続のAWS Lambda関数。日中に鋭いトラフィックのバーストが発生。AceMQが対応するのはお客様の関数設定、ネットワーク設計、コネクション処理であり、AWSプラットフォーム自体はAmazonの管轄です。
アプローチ
AceMQは、失敗したInvocationをサブネットのアドレス使用率と同時実行数に突き合わせ、原因がアプリケーションの不具合ではなくアドレスの枯渇であることを確認しました。そのうえで両面から対処しました。バーストを吸収できるだけのアドレス空間とインターフェース容量を確保すること、そして同じバーストがデータベースに押し寄せないようコネクションを再利用することです。
ソリューション
- Invocationの失敗をサブネットのIP使用率と同時実行数に相関させ、枯渇が原因であることを確認
- 関数を、適切なサイズの専用サブネットへ移し、アベイラビリティーゾーンも追加
- データベースコネクションの確立処理をハンドラーの外に移し、ウォームなInvocationでコネクションを再利用
- コネクションプロキシ層を導入し、バースト時の同時実行数がそのままデータベースコネクション数にならないように変更
- バーストの形状から見て妥当な箇所に、予約済み同時実行数とプロビジョニング済み同時実行数を設定
- サブネットのアドレス使用率と、関数単位のスロットリングおよびエラーのメトリクスにアラートを追加
結果
寄り付き時の失敗は止まり、Invocationごとに作成するのではなくコネクションを再利用するようにしたことで、バースト時のデータベースコネクション数は劇的に減少しました。