Zurück zu allen Kundenbeispielen

BeratungFinanzdienstleistungen / Zahlungsverkehr

Den State-Layer designen, bevor er zum Grund wird, warum Sie nicht mehr deployen können

Plattform zur Online-Betrugserkennung

Design von State Backend, Key-Partitionierung und Rescaling-Strategie für Flink-Jobs mit großem State, die ohne stundenlange Ausfallzeit neu starten müssen.

Überblick

Flink-Jobs mit Hunderten Gigabyte Keyed State unterliegen betrieblichen Zwängen, die kleine Jobs nicht kennen: Neustarts dauern spürbar, Änderungen der Parallelität erfordern die Umverteilung von Savepoints, und ein schlecht gewählter Key konzentriert den State auf wenige Task Manager. AceMQ designt den State-Layer so, dass diese Zwänge auch bei wachsendem Job beherrschbar bleiben.

Herausforderung

Jobs mit großem State werden schleichend undeploybar. Ein Savepoint dauert so lange, dass ein routinemäßiges Deployment ein Wartungsfenster braucht – also werden Deployments gebündelt, und jedes trägt mehr Risiko. Max Parallelism stand noch auf dem Standardwert, sodass der Job ohne kompletten Neuaufbau des States nicht über eine feste Grenze hinaus skaliert werden kann. Die Key Groups sind ungleich verteilt, weil der Key einen Skew hat, und zwei Task Manager erledigen den Großteil der Arbeit. Der lokale Datenträger war für den ursprünglichen State dimensioniert, nicht für den heutigen.

Umgebung

Apache Flink auf Kubernetes mit RocksDB State Backend, großem Keyed State und Checkpoints bzw. Savepoints in Object Storage.

Vorgehen

AceMQ ermittelt Größe und Verteilung des States je Key Group und Task Manager und richtet das Design an den betrieblichen Anforderungen aus – Zeitbudget für Neustarts, erwartete Bandbreite der Parallelität und Upgrade-Rhythmus. Max Parallelism und Zahl der Key Groups werden für die erwartete Lebensdauer des Jobs festgelegt, nicht für seine aktuelle Größe, und Recovery-Pfade werden getestet statt vorausgesetzt.

Lösung

  1. Profiling von State-Größe und Key-Group-Verteilung je Operator und Task Manager, um Partition Skew sichtbar zu machen
  2. Max Parallelism und Key-Group-Dimensionierung auf die erwartete Skalierungsbandbreite des Jobs ausgelegt, nicht auf seine Größe beim Start
  3. RocksDB-Konfiguration für Managed Memory, Block Cache, Write Buffers, Compaction Style und Column-Family-Layout
  4. Dimensionierung des lokalen Storage und Wahl der Disk-Klasse für RocksDB-Working-Sets und Checkpoint-Staging
  5. Strategie für Savepoints, Retained Checkpoints und Local Recovery mit gemessenen Zeitbudgets für Neustarts
  6. Runbook für Rescaling und Upgrades, in Probeläufen validiert, einschließlich der Pfade für State-Schema-Evolution

Resultat

Neustart- und Rescaling-Zeiten werden vorhersehbar und begrenzt, sodass Deployments kein Wartungsfenster mehr brauchen. Der State verteilt sich gleichmäßiger auf die Task Manager, was das Hot-Node-Verhalten beseitigt, das den Durchsatz begrenzt hatte.

Technologien

Apache FlinkRocksDBApache KafkaKubernetes

Brauchen Sie Architekturberatung für Apache Flink?

Die Senior Engineers von AceMQ für Apache Flink haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.