概覽
連接 VPC 的 Lambda 函式需要網路介面與子網路 IP 位址才能擴展。當一個小型子網路與其他工作負載共用時,一波併發呼叫就可能耗盡可用位址,函式在您的程式碼執行之前就已失敗,這也是應用程式日誌中什麼都看不到的原因。
挑戰
在開盤時段的流量爆發期間,部分呼叫因網路錯誤而失敗,且沒有任何應用程式日誌輸出。這些函式連接到兩個與其他服務共用的小型子網路。此外,每次呼叫都在 handler 範圍內開啟新的資料庫連線,而不是重複使用既有連線,因此一波爆發會同時耗盡子網路位址與資料庫的連線上限。
環境
連接 VPC 的 AWS Lambda 函式,存取私有資料庫與內部服務,日內流量有劇烈的爆發。AceMQ 負責客戶的函式設定、網路設計與連線處理;AWS 平台本身則由 Amazon 負責。
做法
AceMQ 將失敗的呼叫與子網路位址使用率及併發量進行關聯分析,確認原因是位址耗盡,而不是應用程式錯誤。接著從兩方面著手:提供足以吸收爆發流量的位址空間與網路介面容量,並重複使用連線,讓資料庫不會被同一波爆發流量衝垮。
解決方案
- 將呼叫失敗與子網路 IP 使用率及併發量進行關聯分析,確認位址耗盡
- 將函式移到專用且大小適當的子網路,並擴及更多可用區域
- 將資料庫連線建立移到 handler 之外,讓暖啟動的呼叫重複使用連線
- 導入連線 proxy 層,讓爆發的併發量不會直接轉換成原始資料庫連線
- 在爆發型態有其必要時,設定 reserved concurrency 與 provisioned concurrency
- 針對子網路位址使用率,以及函式層級的節流與錯誤指標加入告警
成效
開盤時段的失敗不再發生,而改為重複使用連線、不再每次呼叫都建立新連線後,爆發期間的資料庫連線數也大幅下降。