Überblick
Ein Abrechnungsdienstleister im Telekommunikationssektor nutzte Google Cloud Pub/Sub zwischen den Services für Rating, Rechnungsstellung und Reklamationsbearbeitung. Für jede Subscription war in Terraform ein Dead-Letter-Topic konfiguriert. Dennoch wurden dieselben nicht verarbeitbaren Nutzungsdatensätze tagelang erneut zugestellt, und das Team konnte nicht auflisten, was fehlgeschlagen war.
Herausforderung
Hinter einer scheinbar vollständigen Konfiguration verbargen sich zwei getrennte Lücken. Pub/Sub leitet eine Nachricht nur dann an ein Dead-Letter-Topic weiter, wenn sein Service-Agent auf dieses Topic publizieren und auf der Quell-Subscription bestätigen darf. Bei vier der sechs Subscriptions waren diese Rollen nie vergeben worden – es wurde also nichts weitergeleitet, und Zustellversuche wurden nicht gezählt. Bei den anderen beiden hatte das Dead-Letter-Topic keine eigene Subscription, sodass weitergeleitete Nachrichten nirgends vorgehalten wurden, wo jemand sie hätte lesen können.
Umgebung
Google Cloud Pub/Sub-Topics und Pull-Subscriptions, konsumiert von Python-Workern; Topics, Subscriptions und IAM-Bindings werden in Terraform über Entwicklungs-, Staging- und Produktionsprojekte hinweg verwaltet.
Vorgehen
AceMQ analysierte für jede Subscription die Dead-Letter-Policy, die IAM-Bindings und die Daten zu den Zustellversuchen. Anschließend schickte das Team in Staging gezielt eine fehlerhafte Nachricht durch jede Subscription und verfolgte, wo sie landete. Das Muster, welche Subscriptions weiterleiteten und welche nicht, führte direkt zu den fehlenden Berechtigungen.
Lösung
- Dem Pub/Sub-Service-Agent in Terraform die Publisher-Rolle für jedes Dead-Letter-Topic und die Subscriber-Rolle für jede Quell-Subscription erteilt
- Auf jedem Dead-Letter-Topic eine Subscription mit einer Retention angelegt, die für die Triage ausreicht
- Pro Subscription maximale Zustellversuche und eine Retry-Policy mit exponentiellem Backoff festgelegt – abhängig davon, wie lange die jeweilige nachgelagerte Abhängigkeit zur Wiederherstellung braucht
- In den Workern transiente Fehler von Poison Messages getrennt, damit bei einem Ausfall nachgelagerter Systeme ein Retry erfolgt, statt gültige Nutzungsdatensätze ins Dead-Letter-Topic abfließen zu lassen
- Ein Alerting auf die Anzahl der Dead-Letter-Nachrichten eingerichtet sowie ein kleines Tool, um einen Dead-Letter-Datensatz zu prüfen und erneut im Quell-Topic zu publizieren
- Eine Terraform-Prüfung ergänzt, sodass keine neue Subscription mit Dead-Letter-Policy, aber ohne die zugehörigen Bindings angelegt werden kann
Resultat
Eine Poison Message verlässt ihre Subscription jetzt nach der konfigurierten Anzahl von Versuchen und erscheint in einer Dead-Letter-Subscription, die das Team überwacht und aus der es ein Replay durchführen kann. Der frühere Rückstau erneut zugestellter Datensätze wurde nachverfolgt, klassifiziert und abgebaut.