Überblick
Ein Verwalter von Versicherungsleistungen betrieb einen ActiveMQ Classic 5.17 Broker, der Berechtigungs- und Anmeldeereignisse zwischen seinem Mitgliederportal und den Backoffice-Systemen transportierte. Die Queue-Tiefen lagen nahe null, dennoch wuchs das KahaDB-Datenvolume über Monate, bis das Store-Usage-Limit erreicht war und Producer blockiert wurden. Das Team hatte das Volume bereits einmal verdoppelt – das verschaffte nur wenige Wochen Luft.
Herausforderung
Eine Durable Subscription auf einem Event-Topic gehörte zu einer Claims-Audit-Anwendung, die ein Jahr zuvor stillgelegt worden war. Die Subscription war weiterhin registriert, daher hielt der Broker jede auf dem Topic veröffentlichte Nachricht für sie vor. KahaDB löscht eine Journal-Datendatei erst, wenn keine Nachricht darin mehr benötigt wird – und eine einzige zurückgehaltene Nachricht genügt, um eine ganze Datei zu blockieren. Die zurückgehaltenen Nachrichten waren über das gesamte Journal verteilt, sodass kaum Dateien entfernt werden konnten. Der Store wirkte voll mit Daten, die niemand las.
Umgebung
ActiveMQ Classic 5.17.x auf einem einzelnen Linux-Host mit KahaDB auf einem dedizierten Datenvolume, Durable Topic Subscriptions für mehrere interne Anwendungen, Java- und Spring-JMS-Clients.
Vorgehen
AceMQ wies zunächst nach, dass das Wachstum auf zurückgehaltene Nachrichten zurückging und nicht auf langsame Checkpoints: anhand der Anzahl der Journal-Dateien im Verhältnis zur ältesten Datei mit noch aktiven Nachrichten sowie der Liste inaktiver Durable Subscriber aus JMX. Im selben Schritt wurde mit den jeweiligen Verantwortlichen geklärt, welche Subscriptions noch benötigt wurden – bevor irgendetwas entfernt wurde.
Lösung
- Inaktive Durable Subscriber über JMX aufgelistet und jede Client-ID einem verantwortlichen Anwendungsteam zugeordnet
- Die verwaisten Subscriptions nach Bestätigung der Verantwortlichen mit der Broker-Operation destroy-durable-subscriber entfernt
- Checkpoint- und Cleanup-Zyklen beobachtet, bis Journal-Dateien freigegeben waren und sich der Store auf seine Arbeitsgröße eingependelt hatte
- Einen Timeout für Offline-Durable-Subscriber und einen Task-Zeitplan eingerichtet, sodass eine dauerhaft inaktive Subscription automatisch abläuft
- Den Fan-out für Anwendungen, die keine Message Retention mehr benötigten, auf Virtual Topics umgestellt, die eine Queue pro Consumer verwenden
- Alerts auf den prozentualen Store-Verbrauch und die Anzahl inaktiver Durable Subscriber eingerichtet und das Store-Volume anhand der gemessenen Wachstumsrate dimensioniert
Resultat
Das Journal schrumpfte mit jedem Cleanup-Zyklus, der Store-Verbrauch sank deutlich unter die Schwelle, ab der Producer blockiert werden, und das Volume musste nicht weiter wachsen. Ein inaktiver Subscriber löst jetzt einen Alert aus oder läuft per Timeout ab – lange bevor er die Festplatte blockieren kann.