Überblick
Pulsar hält Nachrichten vor, bis jede Subscription sie bestätigt hat. Eine Subscription, die nicht mehr konsumiert – ein stillgelegter Service, ein abgestürzter Consumer, ein Test-Client, den niemand entfernt hat –, hält den Backlog offen, bis die Quota des Namespace erreicht ist. Dann werden Producer gedrosselt oder abgewiesen. AceMQ diagnostiziert das schnell und korrigiert die zugrunde liegende Policy.
Herausforderung
Gemeldet wird, dass Producer plötzlich fehlschlagen oder drastisch langsamer werden, ohne dass sich auf Producer-Seite etwas geändert hat. Ursache ist eine Backlog-Quota-Policy, die ihr Limit erreicht hat und mit der Aktion producer_request_hold oder producer_exception greift. Um die verantwortliche Subscription zu finden, muss der Backlog jeder einzelnen Subscription im gesamten Namespace geprüft werden. Zudem wirken Retention- und TTL-Policies auf eine Weise zusammen, die man leicht falsch einschätzt, wenn jemand unter Druck eine Lösung sucht.
Umgebung
Apache-Pulsar-Cluster auf Kubernetes oder Bare Metal mit mandantenfähigen Namespaces, gemischten Subscription-Typen und in einigen Deployments Geo-Replikation.
Vorgehen
Die Engineers von AceMQ prüfen Backlog und Acknowledgment-Position jeder Subscription im Namespace, um die Subscription zu finden, die die Retention offen hält, und klären, ob es sich um einen aktiven, zurückgefallenen Consumer oder um eine verwaiste Subscription handelt. Die Entlastung erfolgt passend zum Fall – der verwaiste Backlog wird übersprungen oder läuft ab, bei einem aktiven Consumer wird der Durchsatz verbessert –, und anschließend wird das Policy-Set so korrigiert, dass es beim nächsten Mal sichtbar fehlschlägt.
Lösung
- Reaktionszeitziele ab 15 Minuten, je nach Plan, mit namentlich zugeordneten Senior Engineers, 24/7, ohne Tier-1-Triage
- Prüfung von Backlog und Acknowledgment-Position pro Subscription, um die Subscription zu identifizieren, die die Retention blockiert
- Überprüfung von Backlog-Quota-Policy und Aktion über producer_request_hold, producer_exception und consumer_backlog_eviction hinweg
- Abstimmung von Retention- und Message-TTL-Policies, damit verwaiste Subscriptions ablaufen, statt sich unbegrenzt anzusammeln
- Diagnose des Consumer-Durchsatzes bei aktiven Subscriptions, einschließlich Receiver Queue Size, Ack Timeout und Redelivery nach Negative Ack
- Lifecycle-Management und Alerting für Subscriptions, damit verwaiste Subscriptions und ein wachsender Backlog erkannt werden, bevor die Quota greift
Resultat
Die Producer-Drosselung löst sich noch während des Incidents auf. Dank der anschließenden Arbeit an den Policies laufen verwaiste Subscriptions von selbst ab, und ein wachsender Backlog löst lange vor Erreichen der Quota einen Alarm aus.