Überblick
Der Watermark in Flink ist das Minimum über alle Eingangskanäle. Eine einzelne Partition, die keine Records mehr liefert, hält den Watermark fest, und kein nachgelagertes Event-Time-Window löst mehr aus. Der Job wirkt gesund – keine Exceptions, kein Backpressure, Records fließen weiter –, während die Ausgabe unbemerkt versiegt. AceMQ diagnostiziert diese Art von Problem und die verwandten Watermark-Fehler.
Herausforderung
Teams verlieren damit Stunden, weil jedes offensichtliche Gesundheitssignal grün ist. Die Varianten ähneln sich und verwirren: ein überpartitioniertes Kafka-Topic, dessen Partitionen mit wenig Traffic über Nacht inaktiv werden; eine zu großzügig gesetzte Out-of-Orderness-Grenze, sodass Windows lange nach Eintreffen der Daten auslösen; eine Watermark-Strategie pro Partition, die erst nach einem Rebalance angewendet wird, wodurch Reihenfolgegarantien verloren gehen; und verspätete Records, die ohne Side Output verworfen werden, sodass niemand merkt, dass Daten fehlen.
Umgebung
Apache-Flink-Jobs, die aus Kafka oder Kinesis konsumieren, mit Event-Time-Semantik, Window-Aggregationen und Interval Joins.
Vorgehen
Die Engineers von AceMQ vergleichen die aktuellen Watermark-Metriken jedes Subtasks mit der Aktivität der Source-Partitionen – so ist ein Stillstand durch eine inaktive Quelle innerhalb von Minuten erkennbar. Anschließend wird die Watermark-Strategie durchgängig geprüft: wo sie zugewiesen wird, ob Idleness konfiguriert ist und ob die Out-of-Orderness-Grenze der gemessenen Verspätung der Events entspricht statt einer Schätzung.
Lösung
- Reaktionszeitziele ab 15 Minuten, je nach Plan, mit namentlich zugeordneten Senior Engineers, 24/7, ohne Tier-1-Triage
- Vergleich der Watermark-Metriken pro Subtask mit der Aktivität der Source-Partitionen, um den blockierenden Eingang zu isolieren
- withIdleness-Konfiguration in der Watermark-Strategie, bemessen an den realen Ruhephasen von Partitionen mit wenig Traffic
- Out-of-Orderness-Grenze aus der gemessenen Event-Time-Verspätung abgeleitet statt aus einem Standardwert
- Watermark-Zuweisung in den Source Connector verlagert, damit die Reihenfolge pro Partition Rebalance und Repartitionierung übersteht
- Side Outputs für verspätete Records und Lateness-Metriken ergänzt, damit stiller Datenverlust sichtbar wird
Resultat
Blockierte Event-Time-Windows laufen wieder an, und die Watermark-Strategie ist nicht mehr darauf angewiesen, dass jede Partition ständig beschäftigt ist. Side Outputs für verspätete Records decken meist zusätzlichen Datenverlust auf, von dem das Team nichts wusste.