Zurück zu allen Kundenbeispielen

BeratungTelekommunikation

Eine Compaction-Policy, die die Segmentzahl über Jahre im Rahmen hält

Telekommunikationsbetreiber

Neues Design von Segment-Granularität, Partitionierung und Auto-Compaction-Policy, damit die Zahl der Segmente auch bei wachsendem Datenbestand begrenzt bleibt.

Überblick

Im Druid-Cluster eines Telekommunikationsbetreibers hatten sich über Jahre Netzwerk-Telemetriedaten ohne jede Compaction-Policy angesammelt. Die Zahl der Segmente war in die Millionen gewachsen, die Arbeit des Coordinators mit ihr, und jede Abfrage zahlte einen Overhead, der mit der Segmentzahl statt mit dem Datenvolumen wuchs. AceMQ entwarf eine Strategie für Granularität und Compaction.

Herausforderung

Streaming Ingestion erzeugt naturgemäß kleine Segmente, die sich am Ingestion-Fenster orientieren und nicht an dem, was Abfragen brauchen. Ohne Compaction bleiben diese Segmente dauerhaft bestehen. Das neue Design musste Granularitäten wählen, die zu den realen Zeiträumen der Abfragen passen, eine Sekundärpartitionierung definieren, die das Pruning verbessert, und die Compaction so planen, dass sie nicht mit der Ingestion um Task-Kapazität konkurriert.

Umgebung

On-Premises-Cluster mit Apache Druid, der mehrjährige Netzwerk-Performance- und Teilnehmer-Telemetrie speichert.

Vorgehen

AceMQ analysierte die Verteilung der Abfragezeiträume je Datasource, um Segment-Granularitäten zu wählen, die der tatsächlichen Abfragepraxis entsprechen. Anschließend entwarfen wir eine Auto-Compaction mit fest reservierter Task-Kapazität, damit sie kontinuierlich läuft, ohne die Ingestion auszubremsen.

Lösung

  1. Verteilung der Abfragezeiträume je Datasource analysiert, um die Segment-Granularität auf Basis von Daten statt Konventionen zu wählen
  2. Sekundärpartitionierung auf den Dimensionen definiert, nach denen am häufigsten gefiltert wird – für besseres Pruning innerhalb der Segmente
  3. Auto-Compaction mit Zielgrößen für Segmente und explizit reservierter Task-Kapazität konfiguriert
  4. Compaction des historischen Rückstands in begrenzten Phasen geplant, um den Cluster nicht zu überlasten
  5. Rollup- und Aggregations-Policy je Datasource festgelegt, um Segmente dort zu verkleinern, wo die Abfragegranularität es zulässt
  6. Segmentzahl und durchschnittliche Segmentgröße je Datasource als überwachte Betriebsmetriken eingeführt

Resultat

Mit dem Abbau des Rückstands sank die Zahl der Segmente drastisch, und die Auto-Compaction hält sie nun stabil, während neue Daten hinzukommen. Die Last auf dem Coordinator ging zurück, und der Abfrage-Overhead skaliert mit dem Datenvolumen statt mit der Segmentzahl.

Technologien

Apache DruidKafkaLinuxPrometheus

Brauchen Sie Architekturberatung für Apache Druid?

Die Senior Engineers von AceMQ für Apache Druid haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.