導入事例の一覧に戻る

サポート金融サービス・トレーディング

サブネットのアドレスが尽きると、関数は起動すらできない

ウェルスマネジメント企業

スケールアウト時にENIとサブネットのIPアドレスが枯渇して発生していた、VPC接続LambdaのInvocation失敗を診断し、問題を悪化させていたコネクション処理も改善しました。

概要

VPCに接続されたLambda関数がスケールするには、ネットワークインターフェースとサブネットのIPアドレスが必要です。小さなサブネットを他のワークロードと共有していると、同時Invocationのバーストで利用可能なアドレスが枯渇し、コードが実行される前に関数が失敗します。アプリケーションログに何も残らないのはそのためです。

課題

市場の寄り付き時のバーストで、一部のInvocationがネットワークエラーで失敗し、アプリケーションログには何も出力されていませんでした。関数は、他のサービスと共有する2つの小さなサブネットに接続されていました。さらに、Invocationのたびにハンドラーのスコープで新しいデータベースコネクションを開いており、再利用していなかったため、バーストが起きるとサブネットのアドレスとデータベースのコネクション上限が同時に枯渇していました。

環境

プライベートなデータベースや社内サービスにアクセスする、VPC接続のAWS Lambda関数。日中に鋭いトラフィックのバーストが発生。AceMQが対応するのはお客様の関数設定、ネットワーク設計、コネクション処理であり、AWSプラットフォーム自体はAmazonの管轄です。

アプローチ

AceMQは、失敗したInvocationをサブネットのアドレス使用率と同時実行数に突き合わせ、原因がアプリケーションの不具合ではなくアドレスの枯渇であることを確認しました。そのうえで両面から対処しました。バーストを吸収できるだけのアドレス空間とインターフェース容量を確保すること、そして同じバーストがデータベースに押し寄せないようコネクションを再利用することです。

ソリューション

  1. Invocationの失敗をサブネットのIP使用率と同時実行数に相関させ、枯渇が原因であることを確認
  2. 関数を、適切なサイズの専用サブネットへ移し、アベイラビリティーゾーンも追加
  3. データベースコネクションの確立処理をハンドラーの外に移し、ウォームなInvocationでコネクションを再利用
  4. コネクションプロキシ層を導入し、バースト時の同時実行数がそのままデータベースコネクション数にならないように変更
  5. バーストの形状から見て妥当な箇所に、予約済み同時実行数とプロビジョニング済み同時実行数を設定
  6. サブネットのアドレス使用率と、関数単位のスロットリングおよびエラーのメトリクスにアラートを追加

結果

寄り付き時の失敗は止まり、Invocationごとに作成するのではなくコネクションを再利用するようにしたことで、バースト時のデータベースコネクション数は劇的に減少しました。

使用テクノロジー

AWS LambdaPostgreSQLRedisDocker

AWS Lambdaの専門家によるサポートが必要ですか?

AceMQのシニアAWS Lambdaエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。