Überblick
Ein Flink-Job unter anhaltender Backpressure bekommt seine Barriers nicht rechtzeitig durch die Pipeline, und die Checkpoints laufen ab. Jeder abgelaufene Checkpoint bedeutet mehr State, der beim nächsten Versuch geschrieben werden muss. Irgendwann startet der Job von einem alten Checkpoint neu und spielt so viele Daten nach, dass der nächste Fehlschlag garantiert ist. AceMQ durchbricht diesen Kreislauf und geht das darunterliegende State-Wachstum an.
Herausforderung
Das sichtbare Symptom ist ein wöchentlicher oder nächtlicher Checkpoint-Fehlschlag, der in eine Restart-Schleife eskaliert. Darunter kommen mehrere Dinge zusammen: ein Operator mit wachsendem Keyed State, dessen RocksDB-Working-Set nicht mehr ins Managed-Memory-Budget passt, Aligned Barriers, die hinter einem langsamen Sink hängen, und ein Checkpoint-Intervall samt Timeout, die gewählt wurden, als der State nur einen Bruchteil seiner heutigen Größe hatte. Den Timeout allein anzuheben, verschiebt den Fehlschlag nur, statt ihn zu beseitigen.
Umgebung
Apache Flink auf Kubernetes oder YARN mit RocksDB State Backend, Checkpointing nach S3 oder HDFS und Kafka als Quelle.
Vorgehen
AceMQ zerlegt die Checkpoint-Dauer anhand der Flink UI und der Metriken in synchrone, asynchrone und Alignment-Phase. So wird sichtbar, ob die Kosten bei der State-Größe, beim Barrier Alignment oder beim Remote-Dateisystem liegen. Die Backpressure wird bis zum konkreten Operator oder Sink zurückverfolgt, der sie verursacht. Die Behebung zielt dann auf genau diese Phase: Unaligned und Incremental Checkpoints bei Alignment-Kosten, Tuning von RocksDB-Speicher und Compaction bei State-Kosten und State TTL dort, wo der State nie so groß hätte werden dürfen.
Lösung
- Checkpoint-Dauer in Sync-, Async- und Alignment-Phase zerlegt, um den tatsächlichen Engpass zu identifizieren
- Backpressure bis zum konkreten Operator oder Sink zurückverfolgt, der die Weitergabe der Barriers blockiert
- Unaligned Checkpoints und Buffer Debloating aktiviert, wo das Alignment hinter langsamen Operatoren dominiert
- Incremental Checkpointing mit korrigierter Dimensionierung von RocksDB Managed Memory, Block Cache und Write Buffers für die aktuelle State-Größe
- State TTL und Cleanup Policy für Keyed State eingeführt, der unbegrenzt wächst
- Checkpoint-Intervall, Timeout und Minimum Pause an der gemessenen Dauer neu ausgerichtet und die Restart-Strategie so angepasst, dass Replay-Schleifen aufhören
Resultat
Der wiederkehrende Checkpoint-Fehlschlag ist beseitigt, und die Checkpoint-Dauer kehrt in einen stabilen Bereich mit Reserve zum Intervall zurück. Jobs geraten nicht mehr in Restart-Schleifen, weil ein einzelner langsamer Checkpoint nicht mehr automatisch das Scheitern des nächsten bedeutet.