Zurück zu allen Kundenbeispielen

FehlerbehebungBranchenübergreifend

Dieselbe Nachricht, endlos verarbeitet und jedes Mal abgerechnet

Digitaler Versicherungsanbieter

Eine Redrive-Schleife durchbrochen, in der SQS-Nachrichten endlos erneut verarbeitet wurden, weil der Visibility Timeout der Queue kürzer war als der Timeout der Lambda-Funktion.

Überblick

Ist der Visibility Timeout einer SQS-Queue kürzer als der Timeout der konsumierenden Lambda-Funktion, wird eine Nachricht wieder sichtbar, während der erste Aufruf noch daran arbeitet. Ein zweiter Aufruf greift sie auf, und unter Dauerlast entsteht daraus eine sich selbst verstärkende Schleife doppelter Arbeit, die echtes Geld kostet und doppelte Seiteneffekte erzeugt.

Herausforderung

Eine Queue, die normalerweise nahezu leer lief, baute über Nacht einen großen Rückstau auf; die Zahl der Aufrufe lag weit über der Zahl der Nachrichten, und nachgelagerte Datensätze wiesen Duplikate auf. Der Timeout der Funktion war für größere Payloads erhöht worden, ohne den Visibility Timeout der Queue entsprechend anzupassen. Erschwerend kam hinzu, dass ein Fehlerpfad im Handler Erfolg zurückmeldete, sodass fehlgeschlagene Nachrichten gelöscht statt in die Dead-Letter-Queue geschickt wurden – und eine weitere Klasse von Poison Messages endlos im Kreis lief.

Umgebung

AWS-Lambda-Funktionen, die SQS-Queues konsumieren, in eine relationale Datenbank schreiben und interne APIs aufrufen. AceMQ arbeitet an den Funktionen, der Konfiguration der Event Sources und dem Integrationsdesign des Kunden – nicht an der AWS-Plattform selbst.

Vorgehen

AceMQ hat die Zahl der Aufrufe mit der Zahl der Nachrichten verglichen, um die Duplizierung zu bestätigen, und anschließend jede Kombination aus Funktion und Queue auf das Verhältnis der Timeouts, das Batch-Verhalten und die Fehlerbehandlung geprüft. Die Lösung hat den Timeout-Konflikt, die verschluckten Fehler und den fehlenden Dead-Letter-Pfad gemeinsam behoben – denn wer nur eines davon behebt, lässt die Schleife weiter erreichbar.

Lösung

  1. Den Visibility Timeout der Queue bei jeder Kombination aus Funktion und Queue auf ein sicheres Vielfaches des Funktions-Timeouts gesetzt
  2. Fehlerpfade im Handler korrigiert, die Erfolg zurückmeldeten und dadurch fehlgeschlagene Nachrichten löschen ließen
  3. Dead-Letter-Queues mit einem sinnvollen maxReceiveCount konfiguriert, damit Poison Messages die Schleife verlassen
  4. Partial Batch Response aktiviert, damit ein fehlerhafter Datensatz nicht den gesamten Batch erneut auslöst
  5. Nachgelagerte Writes idempotent gemacht, sodass doppelte Zustellungen keinen Schaden anrichten
  6. Alarme auf das Verhältnis von Aufrufen zu Nachrichten und auf die Tiefe der Dead-Letter-Queue eingerichtet

Resultat

Die Redrive-Schleife ist beseitigt, der Rückstau abgebaut, und es entstehen keine doppelten nachgelagerten Datensätze mehr. Die Zahl der Aufrufe folgt wieder dem Nachrichtenvolumen, womit auch die damit verbundene Kostenspitze verschwunden ist.

Technologien

AWS LambdaAmazon SQSDockerPostgreSQL

Haben Sie ein Produktionsproblem mit AWS Lambda?

Die Senior Engineers von AceMQ für AWS Lambda haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.