Überblick
Im Druid-Cluster eines Telekommunikationsbetreibers hatten sich über Jahre Netzwerk-Telemetriedaten ohne jede Compaction-Policy angesammelt. Die Zahl der Segmente war in die Millionen gewachsen, die Arbeit des Coordinators mit ihr, und jede Abfrage zahlte einen Overhead, der mit der Segmentzahl statt mit dem Datenvolumen wuchs. AceMQ entwarf eine Strategie für Granularität und Compaction.
Herausforderung
Streaming Ingestion erzeugt naturgemäß kleine Segmente, die sich am Ingestion-Fenster orientieren und nicht an dem, was Abfragen brauchen. Ohne Compaction bleiben diese Segmente dauerhaft bestehen. Das neue Design musste Granularitäten wählen, die zu den realen Zeiträumen der Abfragen passen, eine Sekundärpartitionierung definieren, die das Pruning verbessert, und die Compaction so planen, dass sie nicht mit der Ingestion um Task-Kapazität konkurriert.
Umgebung
On-Premises-Cluster mit Apache Druid, der mehrjährige Netzwerk-Performance- und Teilnehmer-Telemetrie speichert.
Vorgehen
AceMQ analysierte die Verteilung der Abfragezeiträume je Datasource, um Segment-Granularitäten zu wählen, die der tatsächlichen Abfragepraxis entsprechen. Anschließend entwarfen wir eine Auto-Compaction mit fest reservierter Task-Kapazität, damit sie kontinuierlich läuft, ohne die Ingestion auszubremsen.
Lösung
- Verteilung der Abfragezeiträume je Datasource analysiert, um die Segment-Granularität auf Basis von Daten statt Konventionen zu wählen
- Sekundärpartitionierung auf den Dimensionen definiert, nach denen am häufigsten gefiltert wird – für besseres Pruning innerhalb der Segmente
- Auto-Compaction mit Zielgrößen für Segmente und explizit reservierter Task-Kapazität konfiguriert
- Compaction des historischen Rückstands in begrenzten Phasen geplant, um den Cluster nicht zu überlasten
- Rollup- und Aggregations-Policy je Datasource festgelegt, um Segmente dort zu verkleinern, wo die Abfragegranularität es zulässt
- Segmentzahl und durchschnittliche Segmentgröße je Datasource als überwachte Betriebsmetriken eingeführt
Resultat
Mit dem Abbau des Rückstands sank die Zahl der Segmente drastisch, und die Auto-Compaction hält sie nun stabil, während neue Daten hinzukommen. Die Last auf dem Coordinator ging zurück, und der Abfrage-Overhead skaliert mit dem Datenvolumen statt mit der Segmentzahl.