Überblick
Eine Behörde, die seit mehreren Jahren tägliche Indizes anlegte, hatte Zehntausende kleiner Shards angesammelt. Zusätzliche Hardware half nicht mehr, und Master Elections dauerten so lange, dass die Indexierung unterbrochen wurde. AceMQ bewertete den Cluster, um zu klären, ob das Problem bei der Kapazität oder beim Design lag.
Herausforderung
Jeder tägliche Index hatte die Standardzahl an Shards – egal, ob er ein paar Megabyte oder Hunderte Gigabyte enthielt. Der daraus entstandene Cluster State war so groß, dass die Veröffentlichung eines Updates an alle Knoten Sekunden dauerte, sich Pending Tasks dahinter stauten und jedes Master-Failover zu einem minutenlangen Ausfall wurde. Niemand wagte, das Index-Template zu ändern, weil unklar war, welche nachgelagerten Suchen von der bestehenden Index-Benennung abhingen.
Umgebung
On-Premises-Cluster mit Elasticsearch, tägliche zeitbasierte Indizes mit mehrjähriger Aufbewahrung, gemischte Workloads aus Log- und Dokumentensuche.
Vorgehen
Das Assessment erfasst Shard-Zahl und Größenverteilung je Index-Pattern, misst die Größe des Cluster State und die Latenz seiner Veröffentlichung und ermittelt, welche Indizes tatsächlich abgefragt werden. Wir trennen Indizes, die umgebaut werden müssen, von solchen, die nur per Rollup verdichtet oder gelöscht werden müssen, und liefern einen geordneten Plan, den der Kunde im normalen Wartungsbetrieb umsetzen kann.
Lösung
- Vollständiges Shard-Inventar je Index-Pattern mit Größenverteilung – es zeigt, welche Patterns Shards weit unter oder über einer sinnvollen Größe erzeugen
- Größe des Cluster State und Latenz seiner Veröffentlichung gemessen, um den Master-Overhead direkt zu beziffern
- Abfragetraffic je Index erfasst, damit Entscheidungen zur Aufbewahrung auf Belegen statt auf Richtlinienannahmen beruhen
- Empfohlene Zielgröße für Shards und Rollover-Strategie mit ILM auf Basis von Größen- und Altersbedingungen
- Geordneter Plan zur Behebung mit Shrink-, Reindex- und Rollup-Schritten in einer Reihenfolge, die die Suche durchgehend verfügbar hält
- Kapazitätsmodell, das zeigt, was der Cluster nach der Konsolidierung tatsächlich braucht – und eine unnötige Hardwarebeschaffung vermeidet
Resultat
Nach der Konsolidierung der täglichen Indizes und dem Rollup alter Daten sank die Zahl der Shards drastisch, und die Veröffentlichung des Cluster State dauert nur noch einen Bruchteil der früheren Zeit. Ein Master-Failover ist kein Ereignis mehr, und die geplante Hardware-Erweiterung wurde zurückgestellt.