Überblick
Die schwierigen Entscheidungen in einer Lambda-Architektur fallen bei der Event Source, nicht im Handler: Queue oder Stream, Batch-Größe und Batching-Fenster, Garantien für die Reihenfolge, Concurrency-Limits und was mit einer Nachricht geschieht, die sich nicht verarbeiten lässt. Wer hier falsch entscheidet, bekommt Probleme, die wie Anwendungsfehler aussehen.
Herausforderung
Die Landschaft mischte Queues und Streams ohne klare Regel, wann was zu verwenden ist. Reihenfolgekritische Workloads liefen auf Quellen ohne Reihenfolgegarantie, Batch-Größen standen unabhängig von den Kosten pro Datensatz auf Standardwerten, unbegrenzte Concurrency einiger Functions überrollte ein nachgelagertes Legacy-System, und die Fehlerbehandlung unterschied sich von Function zu Function, sodass der Betrieb keinen einheitlichen Weg zur Wiederherstellung hatte.
Umgebung
AWS-Lambda-Functions, die Queues, Streams und Messaging-Systeme konsumieren und moderne Services sowie ein kapazitätsbegrenztes Legacy-Backend anbinden. AceMQ designt die Event-Architektur des Kunden auf der Plattform; die Plattform betreibt AWS.
Vorgehen
AceMQ klassifizierte jeden Workload nach Reihenfolgeanforderung, Durchsatz, Verarbeitungskosten pro Datensatz und Kapazität der nachgelagerten Systeme und ordnete jeder Klasse eine passende Event Source mit definierter Batching-, Concurrency- und Fehlersemantik zu. Wo ein nachgelagertes System eine harte Obergrenze hat, wurden Concurrency-Limits explizit gesetzt – denn das ist eine Designentscheidung und kein nachträgliches Tuning.
Lösung
- Workloads nach Reihenfolgeanforderung, Durchsatz, Kosten pro Datensatz und Kapazität der nachgelagerten Systeme klassifiziert
- Festgelegt, welche Event Source jede Workload-Klasse nutzen soll, mit dokumentierter Begründung
- Batch-Größe und Batching-Fenster je Workload festgelegt, statt die Standardwerte der Plattform beizubehalten
- Reserved Concurrency eingesetzt, um das kapazitätsbegrenzte Legacy-Backend vor Lastspitzen zu schützen
- Fehlerbehandlung mit Dead-Letter- und On-Failure-Destinations in der gesamten Landschaft vereinheitlicht
- Ein Idempotenzmuster etabliert, damit At-least-once-Zustellung standardmäßig sicher ist
Resultat
Das Legacy-Backend wird nicht mehr von Lastspitzen überrollt, reihenfolgekritische Workloads laufen jetzt auf Quellen, die die Reihenfolge tatsächlich garantieren, und die Wiederherstellung nach Fehlern ist ein einziges dokumentiertes Verfahren statt einer Untersuchung je Function.