Überblick
Flink-Jobs mit Hunderten Gigabyte Keyed State unterliegen betrieblichen Zwängen, die kleine Jobs nicht kennen: Neustarts dauern spürbar, Änderungen der Parallelität erfordern die Umverteilung von Savepoints, und ein schlecht gewählter Key konzentriert den State auf wenige Task Manager. AceMQ designt den State-Layer so, dass diese Zwänge auch bei wachsendem Job beherrschbar bleiben.
Herausforderung
Jobs mit großem State werden schleichend undeploybar. Ein Savepoint dauert so lange, dass ein routinemäßiges Deployment ein Wartungsfenster braucht – also werden Deployments gebündelt, und jedes trägt mehr Risiko. Max Parallelism stand noch auf dem Standardwert, sodass der Job ohne kompletten Neuaufbau des States nicht über eine feste Grenze hinaus skaliert werden kann. Die Key Groups sind ungleich verteilt, weil der Key einen Skew hat, und zwei Task Manager erledigen den Großteil der Arbeit. Der lokale Datenträger war für den ursprünglichen State dimensioniert, nicht für den heutigen.
Umgebung
Apache Flink auf Kubernetes mit RocksDB State Backend, großem Keyed State und Checkpoints bzw. Savepoints in Object Storage.
Vorgehen
AceMQ ermittelt Größe und Verteilung des States je Key Group und Task Manager und richtet das Design an den betrieblichen Anforderungen aus – Zeitbudget für Neustarts, erwartete Bandbreite der Parallelität und Upgrade-Rhythmus. Max Parallelism und Zahl der Key Groups werden für die erwartete Lebensdauer des Jobs festgelegt, nicht für seine aktuelle Größe, und Recovery-Pfade werden getestet statt vorausgesetzt.
Lösung
- Profiling von State-Größe und Key-Group-Verteilung je Operator und Task Manager, um Partition Skew sichtbar zu machen
- Max Parallelism und Key-Group-Dimensionierung auf die erwartete Skalierungsbandbreite des Jobs ausgelegt, nicht auf seine Größe beim Start
- RocksDB-Konfiguration für Managed Memory, Block Cache, Write Buffers, Compaction Style und Column-Family-Layout
- Dimensionierung des lokalen Storage und Wahl der Disk-Klasse für RocksDB-Working-Sets und Checkpoint-Staging
- Strategie für Savepoints, Retained Checkpoints und Local Recovery mit gemessenen Zeitbudgets für Neustarts
- Runbook für Rescaling und Upgrades, in Probeläufen validiert, einschließlich der Pfade für State-Schema-Evolution
Resultat
Neustart- und Rescaling-Zeiten werden vorhersehbar und begrenzt, sodass Deployments kein Wartungsfenster mehr brauchen. Der State verteilt sich gleichmäßiger auf die Task Manager, was das Hot-Node-Verhalten beseitigt, das den Durchsatz begrenzt hatte.