Przegląd
Funkcje Lambda podłączone do VPC potrzebują do skalowania interfejsów sieciowych i adresów IP w podsieci. Gdy niewielka podsieć jest współdzielona z innymi obciążeniami, nagły wzrost liczby współbieżnych wywołań może wyczerpać dostępne adresy, a funkcja kończy się błędem, zanim Państwa kod w ogóle się uruchomi — dlatego logi aplikacji niczego nie pokazują.
Wyzwanie
Podczas skoków ruchu przy otwarciu rynku część wywołań kończyła się błędami sieciowymi bez żadnych wpisów w logach aplikacji. Funkcje były podłączone do dwóch małych podsieci współdzielonych z innymi usługami. Każde wywołanie otwierało ponadto nowe połączenie z bazą danych w zakresie handlera zamiast ponownie wykorzystywać istniejące, więc skok ruchu jednocześnie wyczerpywał adresy w podsieciach i limit połączeń bazy danych.
Środowisko
Funkcje AWS Lambda podłączone do VPC, łączące się z prywatnymi bazami danych i usługami wewnętrznymi, przy gwałtownych skokach ruchu w ciągu dnia. AceMQ pracuje nad konfiguracją funkcji klienta, projektem sieci i obsługą połączeń — sama platforma AWS należy do Amazon.
Podejście
AceMQ skorelowało nieudane wywołania z wykorzystaniem adresów w podsieciach i współbieżnością, aby potwierdzić, że przyczyną jest wyczerpanie adresów, a nie błąd aplikacji. Następnie zajęliśmy się obiema stronami problemu: wystarczającą przestrzenią adresową i pojemnością interfejsów, aby przyjąć skok ruchu, oraz ponownym wykorzystywaniem połączeń, aby ten sam skok nie uderzał w bazę danych.
Rozwiązanie
- Korelacja nieudanych wywołań z wykorzystaniem adresów IP w podsieciach i współbieżnością w celu potwierdzenia wyczerpania
- Przeniesienie funkcji do dedykowanych podsieci o odpowiednim rozmiarze w dodatkowych strefach dostępności
- Przeniesienie nawiązywania połączenia z bazą danych poza handler, aby kolejne wywołania w rozgrzanym środowisku ponownie wykorzystywały połączenia
- Wprowadzenie warstwy proxy połączeń, dzięki której współbieżność podczas skoków nie przekłada się bezpośrednio na połączenia z bazą danych
- Ustawienie reserved i provisioned concurrency tam, gdzie uzasadniał to charakter skoków ruchu
- Dodanie alertów dotyczących wykorzystania adresów w podsieciach oraz metryk dławienia i błędów na poziomie funkcji
Efekt
Błędy przy otwarciu rynku ustały, a liczba połączeń z bazą danych podczas skoków ruchu drastycznie spadła, gdy połączenia zaczęto ponownie wykorzystywać zamiast tworzyć je przy każdym wywołaniu.