Überblick
Ein Energieversorger hielt sieben Jahre Zähler- und Netztelemetrie in Druid vor – jedes Segment auf identischen Historical Nodes mit demselben Replikationsfaktor, unabhängig vom Alter. Die Infrastrukturkosten wuchsen linear mit der Aufbewahrungsdauer, während das Abfragevolumen auf ältere Daten verschwindend gering war. AceMQ bewertete die Optionen für ein Tiering.
Herausforderung
Tiering funktioniert nur, wenn man die tatsächliche Zugriffsverteilung kennt – und Annahmen darüber sind meist falsch. Regulatorische Abfragen auf alte Daten sind selten, müssen aber dennoch innerhalb einer festgelegten Zeit gelingen. Das Assessment musste die tatsächlichen Zugriffsmuster nach Datenalter ermitteln und dann bestimmen, welche Tiering-Konfigurationen das geforderte Abfrageverhalten zu geringeren Kosten erhalten.
Umgebung
Apache Druid auf On-Premises-Hardware und Cloud Object Storage mit mehrjähriger Netz- und Zählertelemetrie.
Vorgehen
AceMQ analysierte die Query Logs, um eine Zugriffsverteilung nach Segmentalter aufzubauen, statt sich auf angegebene Erwartungen zu verlassen. Anschließend wurden Tiering-Konfigurationen sowohl nach Kosten als auch nach dem jeweils resultierenden Abfrageverhalten modelliert, einschließlich der Antwortzeiten der Cold-Stufe für regulatorische Zugriffe.
Lösung
- Zugriffsverteilung nach Segmentalter aus tatsächlichen Query Logs statt aus angenommenen Werten aufgebaut
- Hot-, Warm- und Cold-Stufen für Historicals modelliert, mit Load Rules passend zum gemessenen Zugriffsmuster
- Reduzierte Replikationsfaktoren auf Cold-Stufen anhand der Anforderungen an Verfügbarkeit und Recovery bewertet
- Abfragen direkt aus dem Deep Storage als Option für die kältesten Daten bewertet und ihr Antwortverhalten gemessen
- Aufbewahrungs- und Drop Rules anhand regulatorischer Aufbewahrungspflichten geprüft
- Kosten- und Performancemodell für jede Tiering-Option mit ausdrücklich benannten Zielkonflikten geliefert
Resultat
Der Versorger erhielt einen Tiering-Plan, der auf gemessenen Zugriffen statt auf Annahmen beruht, mit einem klaren Weg zu einem kleineren Bestand an Historical Nodes – bei regulatorischen Abfragen, die weiterhin im geforderten Antwortzeitfenster bleiben. Die Zielkonflikte wurden vorab benannt, statt erst nach der Umsetzung zutage zu treten.