Zurück zu allen Kundenbeispielen

FehlerbehebungTelekommunikation

Eine Dead-Letter-Policy auf dem Papier und dieselbe Nachricht tagelang im Retry

Abrechnungsdienstleister im Telekommunikationssektor

Sechs Subscriptions hatten eine Dead-Letter-Policy, und trotzdem kreisten Poison Messages weiter. AceMQ fand fehlende Berechtigungen des Service-Agents und ein Dead-Letter-Topic ohne eine einzige Subscription.

Überblick

Ein Abrechnungsdienstleister im Telekommunikationssektor nutzte Google Cloud Pub/Sub zwischen den Services für Rating, Rechnungsstellung und Reklamationsbearbeitung. Für jede Subscription war in Terraform ein Dead-Letter-Topic konfiguriert. Dennoch wurden dieselben nicht verarbeitbaren Nutzungsdatensätze tagelang erneut zugestellt, und das Team konnte nicht auflisten, was fehlgeschlagen war.

Herausforderung

Hinter einer scheinbar vollständigen Konfiguration verbargen sich zwei getrennte Lücken. Pub/Sub leitet eine Nachricht nur dann an ein Dead-Letter-Topic weiter, wenn sein Service-Agent auf dieses Topic publizieren und auf der Quell-Subscription bestätigen darf. Bei vier der sechs Subscriptions waren diese Rollen nie vergeben worden – es wurde also nichts weitergeleitet, und Zustellversuche wurden nicht gezählt. Bei den anderen beiden hatte das Dead-Letter-Topic keine eigene Subscription, sodass weitergeleitete Nachrichten nirgends vorgehalten wurden, wo jemand sie hätte lesen können.

Umgebung

Google Cloud Pub/Sub-Topics und Pull-Subscriptions, konsumiert von Python-Workern; Topics, Subscriptions und IAM-Bindings werden in Terraform über Entwicklungs-, Staging- und Produktionsprojekte hinweg verwaltet.

Vorgehen

AceMQ analysierte für jede Subscription die Dead-Letter-Policy, die IAM-Bindings und die Daten zu den Zustellversuchen. Anschließend schickte das Team in Staging gezielt eine fehlerhafte Nachricht durch jede Subscription und verfolgte, wo sie landete. Das Muster, welche Subscriptions weiterleiteten und welche nicht, führte direkt zu den fehlenden Berechtigungen.

Lösung

  1. Dem Pub/Sub-Service-Agent in Terraform die Publisher-Rolle für jedes Dead-Letter-Topic und die Subscriber-Rolle für jede Quell-Subscription erteilt
  2. Auf jedem Dead-Letter-Topic eine Subscription mit einer Retention angelegt, die für die Triage ausreicht
  3. Pro Subscription maximale Zustellversuche und eine Retry-Policy mit exponentiellem Backoff festgelegt – abhängig davon, wie lange die jeweilige nachgelagerte Abhängigkeit zur Wiederherstellung braucht
  4. In den Workern transiente Fehler von Poison Messages getrennt, damit bei einem Ausfall nachgelagerter Systeme ein Retry erfolgt, statt gültige Nutzungsdatensätze ins Dead-Letter-Topic abfließen zu lassen
  5. Ein Alerting auf die Anzahl der Dead-Letter-Nachrichten eingerichtet sowie ein kleines Tool, um einen Dead-Letter-Datensatz zu prüfen und erneut im Quell-Topic zu publizieren
  6. Eine Terraform-Prüfung ergänzt, sodass keine neue Subscription mit Dead-Letter-Policy, aber ohne die zugehörigen Bindings angelegt werden kann

Resultat

Eine Poison Message verlässt ihre Subscription jetzt nach der konfigurierten Anzahl von Versuchen und erscheint in einer Dead-Letter-Subscription, die das Team überwacht und aus der es ein Replay durchführen kann. Der frühere Rückstau erneut zugestellter Datensätze wurde nachverfolgt, klassifiziert und abgebaut.

Technologien

Google Cloud Pub/SubTerraformPython

Haben Sie ein Produktionsproblem mit Google Cloud Pub/Sub?

Die Senior Engineers von AceMQ für Google Cloud Pub/Sub haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.