Przegląd
Gdy visibility timeout kolejki SQS jest krótszy niż timeout konsumującej ją funkcji Lambda, komunikat staje się ponownie widoczny, zanim pierwsze wywołanie skończy go przetwarzać. Pobiera go kolejne wywołanie, a przy stałym obciążeniu zamienia się to w samonapędzającą się pętlę zdublowanej pracy, która kosztuje realne pieniądze i powoduje zdublowane efekty uboczne.
Wyzwanie
Kolejka, która zwykle była niemal pusta, przez noc zgromadziła duże zaległości, liczba wywołań znacznie przewyższała liczbę komunikatów, a w systemach niższego rzędu pojawiły się zduplikowane rekordy. Timeout funkcji podniesiono, aby obsłużyć większe ładunki, bez odpowiedniej zmiany visibility timeout kolejki. Na domiar złego jedna ze ścieżek obsługi błędów w handlerze zwracała sukces, więc komunikaty zakończone błędem były usuwane, zamiast trafiać do kolejki dead-letter, a osobna grupa komunikatów typu poison krążyła w nieskończoność.
Środowisko
Funkcje AWS Lambda konsumujące kolejki SQS, zapisujące do relacyjnej bazy danych i wywołujące wewnętrzne API. AceMQ pracuje nad funkcjami klienta, konfiguracją źródeł zdarzeń i projektem integracji – a nie nad samą platformą AWS.
Podejście
AceMQ porównał liczbę wywołań z liczbą komunikatów, aby potwierdzić duplikację, a następnie przeprowadził audyt każdej pary funkcja–kolejka pod kątem relacji timeoutów, zachowania przy przetwarzaniu partii i obsługi błędów. Poprawka objęła jednocześnie niedopasowanie timeoutów, połykane błędy i brakującą ścieżkę dead-letter, bo naprawa tylko jednego z tych elementów pozostawia pętlę możliwą.
Rozwiązanie
- Ustawienie visibility timeout kolejki na bezpieczną wielokrotność timeoutu funkcji we wszystkich parach funkcja–kolejka
- Poprawienie ścieżek obsługi błędów w handlerach, które zwracały sukces i powodowały usuwanie komunikatów zakończonych błędem
- Skonfigurowanie kolejek dead-letter z rozsądną wartością maxReceiveCount, aby komunikaty typu poison opuszczały pętlę
- Włączenie raportowania częściowej odpowiedzi dla partii, aby jeden błędny rekord nie powodował ponowienia całej partii
- Zapewnienie idempotentności zapisów w systemach niższego rzędu, aby ewentualne zdublowane dostarczenie było nieszkodliwe
- Dodanie alertów na stosunek liczby wywołań do liczby komunikatów oraz na głębokość kolejki dead-letter
Efekt
Pętla ponownego przetwarzania została usunięta, zaległości opróżnione, a zduplikowane rekordy w systemach niższego rzędu przestały się pojawiać. Liczba wywołań znów odpowiada wolumenowi komunikatów, co wyeliminowało związany z tym skok kosztów.