Zurück zu allen Kundenbeispielen

SupportFinanzdienstleistungen / Handel

Funktionen, die nicht starten, wenn dem Subnetz die Adressen ausgehen

Vermögensverwaltung

Diagnose fehlschlagender Aufrufe VPC-gebundener Lambda-Funktionen, verursacht durch erschöpfte ENIs und Subnetz-IP-Adressen beim Scale-out – und durch ein Connection Handling, das alles noch verschlimmerte.

Überblick

VPC-gebundene Lambda-Funktionen brauchen zum Skalieren Netzwerkschnittstellen und IP-Adressen im Subnetz. Teilt sich ein kleines Subnetz mit anderen Workloads, kann eine Welle paralleler Aufrufe die verfügbaren Adressen erschöpfen – und die Funktion scheitert, bevor Ihr Code überhaupt läuft. Deshalb zeigen die Anwendungslogs nichts.

Herausforderung

In den Lastspitzen zur Börseneröffnung schlug ein Teil der Aufrufe mit Netzwerkfehlern fehl, ohne jede Ausgabe in den Anwendungslogs. Die Funktionen hingen an zwei kleinen Subnetzen, die sie sich mit anderen Services teilten. Zudem öffnete jeder Aufruf im Handler eine neue Datenbankverbindung, statt eine bestehende wiederzuverwenden. Eine Lastspitze erschöpfte so gleichzeitig die Subnetz-Adressen und das Verbindungslimit der Datenbank.

Umgebung

VPC-gebundene AWS-Lambda-Funktionen mit Zugriff auf private Datenbanken und interne Services, mit starken Traffic-Spitzen im Tagesverlauf. AceMQ arbeitet an der Funktionskonfiguration, dem Netzwerkdesign und dem Connection Handling des Kunden – die AWS-Plattform selbst liegt bei Amazon.

Vorgehen

AceMQ korrelierte die fehlgeschlagenen Aufrufe mit der Adressauslastung der Subnetze und der Concurrency, um die Erschöpfung als Ursache zu bestätigen und einen Anwendungsfehler auszuschließen. Anschließend gingen wir beide Seiten an: genug Adressraum und Schnittstellenkapazität, um die Spitze aufzufangen, und Wiederverwendung von Verbindungen, damit dieselbe Spitze nicht auch die Datenbank überrollt.

Lösung

  1. Fehlgeschlagene Aufrufe mit IP-Auslastung der Subnetze und Concurrency korreliert, um die Erschöpfung zu bestätigen
  2. Funktionen in eigene, passend dimensionierte Subnetze über zusätzliche Availability Zones verlagert
  3. Aufbau der Datenbankverbindung aus dem Handler herausgezogen, damit warme Aufrufe Verbindungen wiederverwenden
  4. Eine Connection-Proxy-Schicht eingeführt, damit hohe Concurrency nicht direkt zu entsprechend vielen Datenbankverbindungen führt
  5. Reserved und Provisioned Concurrency dort gesetzt, wo das Lastprofil es rechtfertigte
  6. Alerting für die Adressauslastung der Subnetze sowie für Throttle- und Fehlermetriken auf Funktionsebene ergänzt

Resultat

Die Ausfälle zur Börseneröffnung hörten auf, und die Zahl der Datenbankverbindungen während der Spitzen sank drastisch, sobald Verbindungen wiederverwendet statt pro Aufruf neu aufgebaut wurden.

Technologien

AWS LambdaPostgreSQLRedisDocker

Brauchen Sie Expertensupport für AWS Lambda?

Die Senior Engineers von AceMQ für AWS Lambda haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.