返回所有使用案例

問題修復跨產業

同一則訊息,被處理到天荒地老,每一次都要付費

數位保險業者

打破一個重新投遞迴圈:由於佇列的可見性逾時短於 Lambda 函式的逾時,SQS 訊息被無止境地重複處理。

概覽

當 SQS 佇列的可見性逾時短於負責消費的 Lambda 函式逾時,訊息會在第一次呼叫仍在處理時重新變為可見。第二次呼叫隨即取走這則訊息;在持續負載下,這會演變成一個自我餵養的重複工作迴圈,不僅耗費真金白銀,還會產生重複的副作用。

挑戰

一個平時幾乎都是空的佇列,一夜之間累積了大量積壓,呼叫次數遠高於訊息數量,下游的紀錄也出現重複。原來,函式逾時為了處理較大的資料內容而被調高,佇列的可見性逾時卻沒有跟著調整。更糟的是,處理程式的某條錯誤路徑會回傳成功,導致失敗的訊息被直接刪除,而不是送往死信佇列;另外還有一類毒訊息(poison message)無止境地循環。

環境

消費 SQS 佇列的 AWS Lambda 函式,寫入關聯式資料庫並呼叫內部 API。AceMQ 處理的是客戶的函式、事件來源設定與整合設計,而不是 AWS 平台本身。

做法

AceMQ 比對呼叫次數與訊息數量以確認重複處理,接著逐一稽核每一組函式與佇列的配對,檢查逾時關係、批次行為與錯誤處理。修正同時涵蓋逾時不一致、被吞掉的錯誤,以及缺少的死信路徑,因為只修其中一項,迴圈仍然可能發生。

解決方案

  1. 在每一組函式與佇列的配對中,將佇列可見性逾時設為函式逾時的安全倍數
  2. 修正回傳成功、導致失敗訊息被刪除的處理程式錯誤路徑
  3. 設定死信佇列並採用合理的 maxReceiveCount,讓毒訊息得以脫離迴圈
  4. 啟用部分批次回應回報,讓單一壞紀錄不會導致整個批次重試
  5. 讓下游寫入具備冪等性,使任何重複傳遞都不會造成傷害
  6. 針對呼叫次數與訊息數量的比例,以及死信佇列深度新增告警

成效

重新投遞迴圈被消除,積壓清空,下游的重複紀錄也不再出現。呼叫次數恢復與訊息量同步,相關的成本暴增也隨之消失。

技術

AWS LambdaAmazon SQSDockerPostgreSQL

正面臨 AWS Lambda 正式環境問題嗎?

AceMQ 的資深 AWS Lambda 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。