返回所有使用案例

顧問服務跨產業

在撰寫 handler 之前,先選對事件來源

貨運與運輸科技公司

為缺乏一致事件架構、自然擴張而成的 Lambda 環境,設計事件來源對應、批次處理、順序保證與失敗處理機制。

概覽

Lambda 架構中真正困難的決策,是在事件來源而不是在 handler 中做出的:用佇列還是串流、批次大小與時間窗、順序保證、並行上限,以及無法處理的訊息該何去何從。這些地方一旦出錯,所產生的問題看起來就像應用程式的程式錯誤。

挑戰

整個環境混用佇列與串流,卻沒有明確的選用規則。對順序敏感的工作負載,跑在完全不保證順序的來源上;不論每筆記錄的處理成本高低,批次大小一律維持預設值;部分函式的並行度沒有上限,壓垮了下游的舊有系統;而失敗處理方式又因函式而異,維運人員沒有一致的復原方法。

環境

AWS Lambda 消費佇列、串流與訊息系統,並整合現代化服務與容量有限的舊有後端。AceMQ 負責在該平台上設計客戶的事件架構;平台本身由 AWS 營運。

做法

AceMQ 依順序需求、吞吐量、每筆記錄的處理成本與下游容量,將每個工作負載分類,再為每一類對應合適的事件來源,並明確定義批次處理、並行度與失敗處理語意。在下游系統有硬性上限之處,我們明確設定並行上限,因為這屬於設計決策,而不是事後才補做的調校。

解決方案

  1. 依順序需求、吞吐量、每筆記錄成本與下游容量為工作負載分類
  2. 定義每一類工作負載應使用的事件來源,並記錄判斷依據
  3. 依工作負載個別設定批次大小與批次時間窗,而不是沿用平台預設值
  4. 套用 reserved concurrency,保護容量有限的舊有後端免受突發流量衝擊
  5. 在整個環境統一失敗處理方式,採用 dead-letter 目的地與 on-failure 目的地
  6. 建立冪等性模式,讓 at-least-once 投遞預設就是安全的

成效

舊有後端不再被突發流量壓垮,對順序敏感的工作負載也改用真正保證順序的來源,失敗復原則從逐一調查各個函式,變成一套有文件記錄的標準程序。

技術

AWS LambdaAmazon SQSKafkaRabbitMQDocker

需要 AWS Lambda 架構指引嗎?

AceMQ 的資深 AWS Lambda 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。