概要
SQSキューの可視性タイムアウトが、それをコンシュームするLambdaのタイムアウトより短いと、最初の呼び出しがまだ処理している最中にメッセージが再び可視になります。2つ目の呼び出しがそれを拾い、持続的な負荷の下では、これが重複処理を自ら生み出し続けるループになります。実際の費用がかかるうえに、副作用も重複して発生します。
課題
普段はほぼ空の状態で動いていたキューに、一晩で大量の滞留が発生し、呼び出し回数はメッセージ数をはるかに上回り、下流のレコードには重複が見られました。より大きなペイロードに対応するために関数のタイムアウトを引き上げた一方で、キューの可視性タイムアウトはそれに合わせて変更されていませんでした。さらに悪いことに、ハンドラーのエラー処理の経路が成功を返していたため、失敗したメッセージはデッドレターキューに送られずに削除されており、別の種類のポイズンメッセージは際限なく循環し続けていました。
環境
SQSキューをコンシュームし、リレーショナルデータベースに書き込み、社内APIを呼び出すAWS Lambda関数。AceMQが対応するのはお客様の関数、イベントソースの設定、統合の設計であり、AWSのプラットフォームそのものではありません。
アプローチ
AceMQは、呼び出し回数とメッセージ数を比較して重複を確認し、そのうえで、関数とキューのすべての組み合わせについて、タイムアウトの関係、バッチの挙動、エラー処理を監査しました。1つだけを直してもループに陥る経路が残るため、修正はタイムアウトの不一致、握りつぶされていたエラー、欠けていたデッドレターの経路をまとめて対象にしました。
ソリューション
- 関数とキューのすべての組み合わせで、キューの可視性タイムアウトを関数のタイムアウトの安全な倍数に設定
- 成功を返して失敗したメッセージを削除させていた、ハンドラーのエラー処理の経路を修正
- ポイズンメッセージがループから抜け出せるよう、妥当なmaxReceiveCountを指定してデッドレターキューを設定
- 1件の不正なレコードのためにバッチ全体が再試行されないよう、部分的なバッチレスポンスのレポートを有効化
- 重複して配信されても害がないよう、下流への書き込みを冪等化
- メッセージ数に対する呼び出し回数の比率と、デッドレターキューの深さに対するアラートを追加
結果
再処理のループは解消され、滞留は解消し、下流のレコードの重複もなくなりました。呼び出し回数は再びメッセージ量に沿って推移するようになり、それに伴う費用の急増もなくなりました。