Zurück zu allen Kundenbeispielen

FehlerbehebungFinanzdienstleistungen / Zahlungsverkehr

Den Kreislauf durchbrechen, in dem Backpressure Checkpoints scheitern lässt und gescheiterte Checkpoints die Backpressure verschärfen

Globaler Zahlungsdienstleister

Behebung von Checkpoint-Timeouts unter Backpressure, wenn der RocksDB-State größer geworden ist, als das konfigurierte Checkpoint-Intervall verkraften kann.

Überblick

Ein Flink-Job unter anhaltender Backpressure bekommt seine Barriers nicht rechtzeitig durch die Pipeline, und die Checkpoints laufen ab. Jeder abgelaufene Checkpoint bedeutet mehr State, der beim nächsten Versuch geschrieben werden muss. Irgendwann startet der Job von einem alten Checkpoint neu und spielt so viele Daten nach, dass der nächste Fehlschlag garantiert ist. AceMQ durchbricht diesen Kreislauf und geht das darunterliegende State-Wachstum an.

Herausforderung

Das sichtbare Symptom ist ein wöchentlicher oder nächtlicher Checkpoint-Fehlschlag, der in eine Restart-Schleife eskaliert. Darunter kommen mehrere Dinge zusammen: ein Operator mit wachsendem Keyed State, dessen RocksDB-Working-Set nicht mehr ins Managed-Memory-Budget passt, Aligned Barriers, die hinter einem langsamen Sink hängen, und ein Checkpoint-Intervall samt Timeout, die gewählt wurden, als der State nur einen Bruchteil seiner heutigen Größe hatte. Den Timeout allein anzuheben, verschiebt den Fehlschlag nur, statt ihn zu beseitigen.

Umgebung

Apache Flink auf Kubernetes oder YARN mit RocksDB State Backend, Checkpointing nach S3 oder HDFS und Kafka als Quelle.

Vorgehen

AceMQ zerlegt die Checkpoint-Dauer anhand der Flink UI und der Metriken in synchrone, asynchrone und Alignment-Phase. So wird sichtbar, ob die Kosten bei der State-Größe, beim Barrier Alignment oder beim Remote-Dateisystem liegen. Die Backpressure wird bis zum konkreten Operator oder Sink zurückverfolgt, der sie verursacht. Die Behebung zielt dann auf genau diese Phase: Unaligned und Incremental Checkpoints bei Alignment-Kosten, Tuning von RocksDB-Speicher und Compaction bei State-Kosten und State TTL dort, wo der State nie so groß hätte werden dürfen.

Lösung

  1. Checkpoint-Dauer in Sync-, Async- und Alignment-Phase zerlegt, um den tatsächlichen Engpass zu identifizieren
  2. Backpressure bis zum konkreten Operator oder Sink zurückverfolgt, der die Weitergabe der Barriers blockiert
  3. Unaligned Checkpoints und Buffer Debloating aktiviert, wo das Alignment hinter langsamen Operatoren dominiert
  4. Incremental Checkpointing mit korrigierter Dimensionierung von RocksDB Managed Memory, Block Cache und Write Buffers für die aktuelle State-Größe
  5. State TTL und Cleanup Policy für Keyed State eingeführt, der unbegrenzt wächst
  6. Checkpoint-Intervall, Timeout und Minimum Pause an der gemessenen Dauer neu ausgerichtet und die Restart-Strategie so angepasst, dass Replay-Schleifen aufhören

Resultat

Der wiederkehrende Checkpoint-Fehlschlag ist beseitigt, und die Checkpoint-Dauer kehrt in einen stabilen Bereich mit Reserve zum Intervall zurück. Jobs geraten nicht mehr in Restart-Schleifen, weil ein einzelner langsamer Checkpoint nicht mehr automatisch das Scheitern des nächsten bedeutet.

Technologien

Apache FlinkApache KafkaRocksDBKubernetes

Haben Sie ein Produktionsproblem mit Apache Flink?

Die Senior Engineers von AceMQ für Apache Flink haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.