概覽
當 SQS 佇列的可見性逾時短於負責消費的 Lambda 函式逾時,訊息會在第一次呼叫仍在處理時重新變為可見。第二次呼叫隨即取走這則訊息;在持續負載下,這會演變成一個自我餵養的重複工作迴圈,不僅耗費真金白銀,還會產生重複的副作用。
挑戰
一個平時幾乎都是空的佇列,一夜之間累積了大量積壓,呼叫次數遠高於訊息數量,下游的紀錄也出現重複。原來,函式逾時為了處理較大的資料內容而被調高,佇列的可見性逾時卻沒有跟著調整。更糟的是,處理程式的某條錯誤路徑會回傳成功,導致失敗的訊息被直接刪除,而不是送往死信佇列;另外還有一類毒訊息(poison message)無止境地循環。
環境
消費 SQS 佇列的 AWS Lambda 函式,寫入關聯式資料庫並呼叫內部 API。AceMQ 處理的是客戶的函式、事件來源設定與整合設計,而不是 AWS 平台本身。
做法
AceMQ 比對呼叫次數與訊息數量以確認重複處理,接著逐一稽核每一組函式與佇列的配對,檢查逾時關係、批次行為與錯誤處理。修正同時涵蓋逾時不一致、被吞掉的錯誤,以及缺少的死信路徑,因為只修其中一項,迴圈仍然可能發生。
解決方案
- 在每一組函式與佇列的配對中,將佇列可見性逾時設為函式逾時的安全倍數
- 修正回傳成功、導致失敗訊息被刪除的處理程式錯誤路徑
- 設定死信佇列並採用合理的 maxReceiveCount,讓毒訊息得以脫離迴圈
- 啟用部分批次回應回報,讓單一壞紀錄不會導致整個批次重試
- 讓下游寫入具備冪等性,使任何重複傳遞都不會造成傷害
- 針對呼叫次數與訊息數量的比例,以及死信佇列深度新增告警
成效
重新投遞迴圈被消除,積壓清空,下游的重複紀錄也不再出現。呼叫次數恢復與訊息量同步,相關的成本暴增也隨之消失。