Überblick
VPC-gebundene Lambda-Funktionen brauchen zum Skalieren Netzwerkschnittstellen und IP-Adressen im Subnetz. Teilt sich ein kleines Subnetz mit anderen Workloads, kann eine Welle paralleler Aufrufe die verfügbaren Adressen erschöpfen – und die Funktion scheitert, bevor Ihr Code überhaupt läuft. Deshalb zeigen die Anwendungslogs nichts.
Herausforderung
In den Lastspitzen zur Börseneröffnung schlug ein Teil der Aufrufe mit Netzwerkfehlern fehl, ohne jede Ausgabe in den Anwendungslogs. Die Funktionen hingen an zwei kleinen Subnetzen, die sie sich mit anderen Services teilten. Zudem öffnete jeder Aufruf im Handler eine neue Datenbankverbindung, statt eine bestehende wiederzuverwenden. Eine Lastspitze erschöpfte so gleichzeitig die Subnetz-Adressen und das Verbindungslimit der Datenbank.
Umgebung
VPC-gebundene AWS-Lambda-Funktionen mit Zugriff auf private Datenbanken und interne Services, mit starken Traffic-Spitzen im Tagesverlauf. AceMQ arbeitet an der Funktionskonfiguration, dem Netzwerkdesign und dem Connection Handling des Kunden – die AWS-Plattform selbst liegt bei Amazon.
Vorgehen
AceMQ korrelierte die fehlgeschlagenen Aufrufe mit der Adressauslastung der Subnetze und der Concurrency, um die Erschöpfung als Ursache zu bestätigen und einen Anwendungsfehler auszuschließen. Anschließend gingen wir beide Seiten an: genug Adressraum und Schnittstellenkapazität, um die Spitze aufzufangen, und Wiederverwendung von Verbindungen, damit dieselbe Spitze nicht auch die Datenbank überrollt.
Lösung
- Fehlgeschlagene Aufrufe mit IP-Auslastung der Subnetze und Concurrency korreliert, um die Erschöpfung zu bestätigen
- Funktionen in eigene, passend dimensionierte Subnetze über zusätzliche Availability Zones verlagert
- Aufbau der Datenbankverbindung aus dem Handler herausgezogen, damit warme Aufrufe Verbindungen wiederverwenden
- Eine Connection-Proxy-Schicht eingeführt, damit hohe Concurrency nicht direkt zu entsprechend vielen Datenbankverbindungen führt
- Reserved und Provisioned Concurrency dort gesetzt, wo das Lastprofil es rechtfertigte
- Alerting für die Adressauslastung der Subnetze sowie für Throttle- und Fehlermetriken auf Funktionsebene ergänzt
Resultat
Die Ausfälle zur Börseneröffnung hörten auf, und die Zahl der Datenbankverbindungen während der Spitzen sank drastisch, sobald Verbindungen wiederverwendet statt pro Aufruf neu aufgebaut wurden.