Powrót do wszystkich studiów przypadków

DoradztwoWiele branż

Wybór właściwego źródła zdarzeń, zanim powstanie handler

Firma technologiczna z branży frachtu i transportu

Zaprojektowanie mapowania źródeł zdarzeń, grupowania (batching), kolejności i obsługi błędów dla środowiska Lambda, które rozrosło się bez spójnej architektury zdarzeń.

Przegląd

Najtrudniejsze decyzje w architekturze Lambda zapadają na poziomie źródła zdarzeń, a nie w handlerze: kolejka czy strumień, rozmiar i okno partii, gwarancje kolejności, limity współbieżności oraz to, co dzieje się z komunikatem, którego nie da się przetworzyć. Błędy w tych obszarach powodują problemy, które wyglądają jak błędy aplikacji.

Wyzwanie

Środowisko łączyło kolejki i strumienie bez jasnej reguły, kiedy używać którego rozwiązania. Obciążenia wrażliwe na kolejność działały na źródłach, które nie gwarantowały kolejności, rozmiary partii pozostawiono domyślne niezależnie od kosztu przetworzenia pojedynczego rekordu, nieograniczona współbieżność niektórych funkcji przeciążała starszy system docelowy, a obsługa błędów różniła się w zależności od funkcji, więc operatorzy nie mieli spójnego sposobu przywracania działania.

Środowisko

AWS Lambda konsumujące kolejki, strumienie i systemy messagingowe, integrujące nowoczesne usługi ze starszym backendem o ograniczonej pojemności. AceMQ projektuje architekturę zdarzeń klienta na platformie; platformą zarządza AWS.

Podejście

AceMQ sklasyfikowało każde obciążenie według wymogów dotyczących kolejności, przepustowości, kosztu przetworzenia rekordu i pojemności systemów docelowych, a następnie przypisało każdej klasie odpowiednie źródło zdarzeń ze zdefiniowanym grupowaniem, współbieżnością i semantyką obsługi błędów. Tam, gdzie system docelowy ma twardy pułap, limity współbieżności ustawiono jawnie — to bowiem decyzja projektowa, a nie dostrajanie po fakcie.

Rozwiązanie

  1. Klasyfikacja obciążeń według wymogów kolejności, przepustowości, kosztu przetworzenia rekordu i pojemności systemów docelowych
  2. Określenie, z jakiego źródła zdarzeń powinna korzystać każda klasa obciążeń, wraz z udokumentowanym uzasadnieniem
  3. Ustawienie rozmiaru partii i okna grupowania dla każdego obciążenia zamiast pozostawiania domyślnych ustawień platformy
  4. Zastosowanie zarezerwowanej współbieżności (reserved concurrency) w celu ochrony starszego backendu o ograniczonej pojemności przed skokami ruchu
  5. Standaryzacja obsługi błędów w całym środowisku z użyciem miejsc docelowych dla komunikatów martwych (dead-letter) i miejsc docelowych on-failure
  6. Wprowadzenie wzorca idempotentności, dzięki któremu dostarczanie co najmniej raz (at-least-once) jest domyślnie bezpieczne

Efekt

Starszy backend przestał być przeciążany przez skoki ruchu, obciążenia wrażliwe na kolejność przeniesiono na źródła, które faktycznie ją gwarantują, a przywracanie działania po błędach stało się jedną udokumentowaną procedurą zamiast dochodzenia prowadzonego osobno dla każdej funkcji.

Technologie

AWS LambdaAmazon SQSKafkaRabbitMQDocker

Potrzebują Państwo doradztwa w zakresie architektury AWS Lambda?

Starsi inżynierowie AWS Lambda w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.