Überblick
Ein mandantenfähiger Analytics-Anbieter verlor bei der Aktualisierung kundenseitiger Dashboards immer wieder Nodes durch lange Stop-the-World-Pausen der Garbage Collection. AceMQ leistet kontinuierlichen Support mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, und namentlich zugeordneten Senior Engineers, die die Cluster-Topologie bereits kennen.
Herausforderung
Exceptions des Parent Circuit Breakers zeigten sich als fehlgeschlagene Suchen bei dem Mandanten, der gerade zufällig abfragte – das Problem wirkte dadurch willkürlich. Tiefe Terms-Aggregationen über Felder mit hoher Kardinalität und Date-Histogram-Buckets ohne Obergrenze zogen große Mengen Field Data in den Heap. Schon eine Handvoll überdimensionierter Abfragen konnte einen Node über den Breaker hinaustreiben und eine GC-Pause auslösen, die lang genug war, dass der Master ihn aus dem Cluster entfernte.
Umgebung
Elasticsearch auf Kubernetes über drei Availability Zones, gemischte Abfragelast verschiedener Mandanten, Dashboards mit kurzen Aktualisierungsintervallen.
Vorgehen
Support-Einsätze beginnen mit der Analyse von Hot Threads und GC-Logs während eines laufenden Incidents, nicht mit einer nachträglichen Zusammenfassung. Wir korrelieren ausgelöste Breaker mit dem Slow Log, um die konkreten verantwortlichen Abfrageformen zu identifizieren, und begrenzen sie dann gemeinsam mit den Engineers des Kunden auf API-Ebene, statt einfach die Breaker-Limits anzuheben.
Lösung
- 24/7-Incident-Response mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, und ohne Tier-1-Triage zwischen dem Kunden und einem Senior Engineer
- Analyse von Hot Threads, GC-Logs und Node Stats, erfasst während laufender Breaker-Ereignisse statt nachträglich rekonstruiert
- Tuning des Search Slow Log, um die Aggregationsformen sichtbar zu machen, die das Heap-Wachstum tatsächlich treiben
- Empfehlungen zur Begrenzung der Größe von Terms-Aggregationen, zum Setzen von search.max_buckets-Limits und zum Einsatz von Composite Aggregations für tiefe Paginierung
- Größe von Field Data und Query Cache anhand des realen Workloads statt nach Standardwerten geprüft
- Verfahren für Rolling Restarts und Node-Austausch gemeinsam mit dem Kunden in Wartungsfenstern validiert
Resultat
Breaker-bedingte Suchfehler sanken auf einen kleinen Bruchteil der früheren Rate, und der Cluster verliert in den Spitzenzeiten der Dashboards keine Nodes mehr. Die Engineers des Kunden erkennen problematische Abfragen inzwischen meist schon im Review, weil sie wissen, wie die Fehlersignatur aussieht.