Powrót do wszystkich studiów przypadków

Usuwanie problemówWiele branż

Ten sam komunikat przetwarzany w kółko i za każdym razem rozliczany

Cyfrowy ubezpieczyciel

Przerwanie pętli, w której komunikaty SQS były przetwarzane w nieskończoność, ponieważ visibility timeout kolejki był krótszy niż timeout funkcji Lambda.

Przegląd

Gdy visibility timeout kolejki SQS jest krótszy niż timeout konsumującej ją funkcji Lambda, komunikat staje się ponownie widoczny, zanim pierwsze wywołanie skończy go przetwarzać. Pobiera go kolejne wywołanie, a przy stałym obciążeniu zamienia się to w samonapędzającą się pętlę zdublowanej pracy, która kosztuje realne pieniądze i powoduje zdublowane efekty uboczne.

Wyzwanie

Kolejka, która zwykle była niemal pusta, przez noc zgromadziła duże zaległości, liczba wywołań znacznie przewyższała liczbę komunikatów, a w systemach niższego rzędu pojawiły się zduplikowane rekordy. Timeout funkcji podniesiono, aby obsłużyć większe ładunki, bez odpowiedniej zmiany visibility timeout kolejki. Na domiar złego jedna ze ścieżek obsługi błędów w handlerze zwracała sukces, więc komunikaty zakończone błędem były usuwane, zamiast trafiać do kolejki dead-letter, a osobna grupa komunikatów typu poison krążyła w nieskończoność.

Środowisko

Funkcje AWS Lambda konsumujące kolejki SQS, zapisujące do relacyjnej bazy danych i wywołujące wewnętrzne API. AceMQ pracuje nad funkcjami klienta, konfiguracją źródeł zdarzeń i projektem integracji – a nie nad samą platformą AWS.

Podejście

AceMQ porównał liczbę wywołań z liczbą komunikatów, aby potwierdzić duplikację, a następnie przeprowadził audyt każdej pary funkcja–kolejka pod kątem relacji timeoutów, zachowania przy przetwarzaniu partii i obsługi błędów. Poprawka objęła jednocześnie niedopasowanie timeoutów, połykane błędy i brakującą ścieżkę dead-letter, bo naprawa tylko jednego z tych elementów pozostawia pętlę możliwą.

Rozwiązanie

  1. Ustawienie visibility timeout kolejki na bezpieczną wielokrotność timeoutu funkcji we wszystkich parach funkcja–kolejka
  2. Poprawienie ścieżek obsługi błędów w handlerach, które zwracały sukces i powodowały usuwanie komunikatów zakończonych błędem
  3. Skonfigurowanie kolejek dead-letter z rozsądną wartością maxReceiveCount, aby komunikaty typu poison opuszczały pętlę
  4. Włączenie raportowania częściowej odpowiedzi dla partii, aby jeden błędny rekord nie powodował ponowienia całej partii
  5. Zapewnienie idempotentności zapisów w systemach niższego rzędu, aby ewentualne zdublowane dostarczenie było nieszkodliwe
  6. Dodanie alertów na stosunek liczby wywołań do liczby komunikatów oraz na głębokość kolejki dead-letter

Efekt

Pętla ponownego przetwarzania została usunięta, zaległości opróżnione, a zduplikowane rekordy w systemach niższego rzędu przestały się pojawiać. Liczba wywołań znów odpowiada wolumenowi komunikatów, co wyeliminowało związany z tym skok kosztów.

Technologie

AWS LambdaAmazon SQSDockerPostgreSQL

Problem produkcyjny z AWS Lambda?

Starsi inżynierowie AWS Lambda w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.