Zurück zu allen Kundenbeispielen

SupportFinanzdienstleistungen / Zahlungsverkehr

Namentlich zugeordnete Senior Engineers in Rufbereitschaft für WAL, Replikation und Failover

Plattform für digitales Banking

Laufender Support für einen Cluster, in dem ein verwaister Logical Replication Slot wiederholt das WAL-Volume füllte und den Primary zum Stillstand zu bringen drohte.

Überblick

Eine Bankplattform nutzte Logical Decoding, um eine Change-Data-Capture-Pipeline zu speisen. Als der nachgelagerte Consumer hängen blieb, rückte der Replication Slot nicht mehr vor, und der Primary hielt jedes WAL-Segment seit dem Stillstand zurück. Die Disk lief zweimal voll, bevor AceMQ den Support mit namentlich zugeordneten Senior Engineers und direkter Eskalation ohne Tier-1-Triage übernahm.

Herausforderung

Ein zurückgehaltener Replication Slot ist eine der wenigen Situationen, die einen PostgreSQL-Primary über einen Mechanismus lahmlegen können, der nichts mit der Query-Last zu tun hat. Das Monitoring des Kunden überwachte die Disk-Belegung, nicht aber den Slot-Lag, sodass das erste Signal ein Disk-Alert mit nur noch wenigen Minuten Reserve war. Einen vorübergehend langsamen Consumer von einem tatsächlich verwaisten Slot zu unterscheiden, erforderte ein Urteilsvermögen, das die Rufbereitschaft nicht hatte.

Umgebung

PostgreSQL auf AWS mit Logical Replication, die eine Change-Data-Capture-Pipeline mit Debezium und Kafka speist.

Vorgehen

AceMQ machte den Slot-Lag zu einem vorrangigen Signal, das vor der Disk-Belegung anschlägt, und legte dann eine Policy für den Lebenszyklus von Slots fest: was eine Untersuchung auslöst, was einen Neustart des Consumers auslöst und was das Löschen eines Slots rechtfertigt. Leitplanken wurden so konfiguriert, dass ein hängender Consumer die Pipeline beeinträchtigt statt den Primary.

Lösung

  1. Lag der Replication Slots und Größe der WAL-Retention ins Monitoring aufgenommen, mit Schwellenwerten weit vor einer vollen Disk
  2. max_slot_wal_keep_size so konfiguriert, dass ein hängender Consumer seinen Slot invalidiert, statt das WAL-Volume zu füllen
  3. WAL auf ein eigenes Volume mit unabhängiger Kapazität und eigenem Alerting ausgelagert
  4. Eine Policy für den Slot-Lebenszyklus dokumentiert, die Untersuchung, Neustart des Consumers und sicheres Entfernen von Slots abdeckt
  5. Einstellungen für Checkpoints und WAL-Dimensionierung überprüft, die unnötige Write Amplification verursachten
  6. 24/7-Eskalation direkt an erfahrene PostgreSQL-Engineers für Incidents rund um Slots und Replikation eingerichtet

Resultat

Incidents mit dem WAL-Volume treten nicht mehr auf. Hängende Consumer zeigen sich jetzt als Alerts zum Pipeline-Lag, Stunden bevor sie den Primary beeinträchtigen könnten, und das Team des Kunden bearbeitet Routinefälle ohne Eskalation.

Technologien

PostgreSQLDebeziumKafkaPrometheus

Brauchen Sie Expertensupport für PostgreSQL?

Die Senior Engineers von AceMQ für PostgreSQL haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.