Powrót do wszystkich studiów przypadków

Wsparcie techniczneUsługi finansowe / obrót instrumentami

Funkcje, które nie startują, gdy w podsieci kończą się adresy

Firma zarządzająca majątkiem

Diagnoza nieudanych wywołań funkcji Lambda podłączonych do VPC, spowodowanych wyczerpaniem ENI i adresów IP w podsieciach podczas skalowania, oraz obsługi połączeń, która pogarszała sytuację.

Przegląd

Funkcje Lambda podłączone do VPC potrzebują do skalowania interfejsów sieciowych i adresów IP w podsieci. Gdy niewielka podsieć jest współdzielona z innymi obciążeniami, nagły wzrost liczby współbieżnych wywołań może wyczerpać dostępne adresy, a funkcja kończy się błędem, zanim Państwa kod w ogóle się uruchomi — dlatego logi aplikacji niczego nie pokazują.

Wyzwanie

Podczas skoków ruchu przy otwarciu rynku część wywołań kończyła się błędami sieciowymi bez żadnych wpisów w logach aplikacji. Funkcje były podłączone do dwóch małych podsieci współdzielonych z innymi usługami. Każde wywołanie otwierało ponadto nowe połączenie z bazą danych w zakresie handlera zamiast ponownie wykorzystywać istniejące, więc skok ruchu jednocześnie wyczerpywał adresy w podsieciach i limit połączeń bazy danych.

Środowisko

Funkcje AWS Lambda podłączone do VPC, łączące się z prywatnymi bazami danych i usługami wewnętrznymi, przy gwałtownych skokach ruchu w ciągu dnia. AceMQ pracuje nad konfiguracją funkcji klienta, projektem sieci i obsługą połączeń — sama platforma AWS należy do Amazon.

Podejście

AceMQ skorelowało nieudane wywołania z wykorzystaniem adresów w podsieciach i współbieżnością, aby potwierdzić, że przyczyną jest wyczerpanie adresów, a nie błąd aplikacji. Następnie zajęliśmy się obiema stronami problemu: wystarczającą przestrzenią adresową i pojemnością interfejsów, aby przyjąć skok ruchu, oraz ponownym wykorzystywaniem połączeń, aby ten sam skok nie uderzał w bazę danych.

Rozwiązanie

  1. Korelacja nieudanych wywołań z wykorzystaniem adresów IP w podsieciach i współbieżnością w celu potwierdzenia wyczerpania
  2. Przeniesienie funkcji do dedykowanych podsieci o odpowiednim rozmiarze w dodatkowych strefach dostępności
  3. Przeniesienie nawiązywania połączenia z bazą danych poza handler, aby kolejne wywołania w rozgrzanym środowisku ponownie wykorzystywały połączenia
  4. Wprowadzenie warstwy proxy połączeń, dzięki której współbieżność podczas skoków nie przekłada się bezpośrednio na połączenia z bazą danych
  5. Ustawienie reserved i provisioned concurrency tam, gdzie uzasadniał to charakter skoków ruchu
  6. Dodanie alertów dotyczących wykorzystania adresów w podsieciach oraz metryk dławienia i błędów na poziomie funkcji

Efekt

Błędy przy otwarciu rynku ustały, a liczba połączeń z bazą danych podczas skoków ruchu drastycznie spadła, gdy połączenia zaczęto ponownie wykorzystywać zamiast tworzyć je przy każdym wywołaniu.

Technologie

AWS LambdaPostgreSQLRedisDocker

Potrzebują Państwo eksperckiego wsparcia AWS Lambda?

Starsi inżynierowie AWS Lambda w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.