Zurück zu allen Kundenbeispielen

AssessmentEnergie / Versorger

Die Storage-Stufe danach wählen, wie oft die Daten tatsächlich gelesen werden

Energieversorger

Assessment von Historical Tiering, Aufbewahrungsregeln und Replikationsfaktoren, um die Infrastrukturkosten daran auszurichten, wie Daten im Lauf der Zeit tatsächlich abgefragt werden.

Überblick

Ein Energieversorger hielt sieben Jahre Zähler- und Netztelemetrie in Druid vor – jedes Segment auf identischen Historical Nodes mit demselben Replikationsfaktor, unabhängig vom Alter. Die Infrastrukturkosten wuchsen linear mit der Aufbewahrungsdauer, während das Abfragevolumen auf ältere Daten verschwindend gering war. AceMQ bewertete die Optionen für ein Tiering.

Herausforderung

Tiering funktioniert nur, wenn man die tatsächliche Zugriffsverteilung kennt – und Annahmen darüber sind meist falsch. Regulatorische Abfragen auf alte Daten sind selten, müssen aber dennoch innerhalb einer festgelegten Zeit gelingen. Das Assessment musste die tatsächlichen Zugriffsmuster nach Datenalter ermitteln und dann bestimmen, welche Tiering-Konfigurationen das geforderte Abfrageverhalten zu geringeren Kosten erhalten.

Umgebung

Apache Druid auf On-Premises-Hardware und Cloud Object Storage mit mehrjähriger Netz- und Zählertelemetrie.

Vorgehen

AceMQ analysierte die Query Logs, um eine Zugriffsverteilung nach Segmentalter aufzubauen, statt sich auf angegebene Erwartungen zu verlassen. Anschließend wurden Tiering-Konfigurationen sowohl nach Kosten als auch nach dem jeweils resultierenden Abfrageverhalten modelliert, einschließlich der Antwortzeiten der Cold-Stufe für regulatorische Zugriffe.

Lösung

  1. Zugriffsverteilung nach Segmentalter aus tatsächlichen Query Logs statt aus angenommenen Werten aufgebaut
  2. Hot-, Warm- und Cold-Stufen für Historicals modelliert, mit Load Rules passend zum gemessenen Zugriffsmuster
  3. Reduzierte Replikationsfaktoren auf Cold-Stufen anhand der Anforderungen an Verfügbarkeit und Recovery bewertet
  4. Abfragen direkt aus dem Deep Storage als Option für die kältesten Daten bewertet und ihr Antwortverhalten gemessen
  5. Aufbewahrungs- und Drop Rules anhand regulatorischer Aufbewahrungspflichten geprüft
  6. Kosten- und Performancemodell für jede Tiering-Option mit ausdrücklich benannten Zielkonflikten geliefert

Resultat

Der Versorger erhielt einen Tiering-Plan, der auf gemessenen Zugriffen statt auf Annahmen beruht, mit einem klaren Weg zu einem kleineren Bestand an Historical Nodes – bei regulatorischen Abfragen, die weiterhin im geforderten Antwortzeitfenster bleiben. Die Zielkonflikte wurden vorab benannt, statt erst nach der Umsetzung zutage zu treten.

Technologien

Apache DruidS3KubernetesPrometheus

Bereit für einen Apache Druid-Health-Check?

Die Senior Engineers von AceMQ für Apache Druid haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.