Zurück zu allen Kundenbeispielen

AssessmentSoftware / Digitale Plattformen

Schluss damit, lokales NVMe für Daten zu dimensionieren, die Sie einmal im Quartal lesen

Anbieter einer Plattform für vernetzte Geräte

Design von Tiered Storage für lange Aufbewahrung, damit historische Daten im Object Storage liegen und nicht der lokale Datenträger bestimmt, wie lange Sie sie behalten können.

Überblick

Tiered Storage verlagert abgeschlossene Log-Segmente in den Object Storage und hält das jüngste Zeitfenster auf dem lokalen Datenträger. Damit ist die Aufbewahrungsdauer von der Größe des bereitgestellten NVMe entkoppelt. AceMQ bewertet, ob die Lesemuster das rechtfertigen, und richtet Konfiguration und Dimensionierung am gemessenen Verhalten aus.

Herausforderung

Teams mit einer Aufbewahrungsanforderung über Monate oder Jahre statten entweder jeden Broker mit zu viel lokalem Speicher aus oder kürzen die Aufbewahrung und verlieren die Möglichkeit zum Replay. Tiered Storage löst das – aber nur, wenn das lokale Cache-Fenster dazu passt, wie Consumer tatsächlich lesen. Ein Rebuild-Job, der ein Topic von Anfang an neu einliest, zieht große Datenmengen aus dem Object Storage, und die daraus entstehenden Request- und Egress-Kosten überraschen jeden, der sie nicht modelliert hat.

Umgebung

Redpanda-Cluster auf Kubernetes oder Cloud-Instanzen mit lokalem NVMe und S3-kompatiblem Object Storage, die sowohl Streaming-Consumer als auch periodische historische Replays bedienen.

Vorgehen

AceMQ ermittelt die Read Offsets der Consumer über die Zeit, um zu messen, wie weit Consumer tatsächlich zurückgreifen und wie oft – daraus ergibt sich das lokale Cache-Fenster. Anschließend wird die Aufbewahrung je Topic in einen lokalen Hot Tier und einen Cold Tier im Object Storage aufgeteilt, und die Kosten für Remote Reads werden anhand der realen Replay-Muster modelliert statt anhand eines Worst Case.

Lösung

  1. Profiling der Consumer-Read-Offsets, um das tatsächliche Aktualitätsfenster und die Häufigkeit tiefer historischer Replays zu messen
  2. Aufteilung der Aufbewahrung je Topic auf lokalen Hot Storage und Remote Object Storage
  3. Dimensionierung von lokalem Datenträger und Cache auf Basis des gemessenen Hot-Fensters plus Reserve für Phasen mit Consumer Lag
  4. Modellierung der Kosten für Requests, Egress und Lifecycle im Object Storage anhand realer Replay-Muster statt eines Worst Case
  5. Validierung der Remote-Read-Performance für Batch- und Analytics-Jobs, die aus dem Cold Tier lesen
  6. Validierung von Recovery-Verfahren und der Neuanlage von Topics gegen den Remote Tier, einschließlich Cluster-Rebuild aus dem Object Storage

Resultat

Kunden verlängern die Aufbewahrung um eine Größenordnung, ohne dass der lokale Speicher proportional wächst, und das Kostenmodell bildet gemessenes Leseverhalten ab. Recovery-Verfahren sind validiert, bevor sie gebraucht werden – nicht erst während eines Vorfalls.

Technologien

RedpandaApache KafkaKubernetesApache Spark

Bereit für einen Redpanda-Health-Check?

Die Senior Engineers von AceMQ für Redpanda haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.