Présentation
Le watermark de Flink correspond au minimum de tous les canaux d'entrée : une seule partition qui cesse de produire des enregistrements bloque le watermark, et toutes les fenêtres en event time en aval cessent de se déclencher. Le job paraît sain (aucune exception, pas de backpressure, des enregistrements qui circulent toujours) alors que la sortie s'arrête silencieusement. AceMQ diagnostique cette catégorie de problèmes ainsi que les défauts de watermark qui lui sont liés.
Défi
Les équipes y perdent des heures parce que tous les indicateurs de santé évidents sont au vert. Les variantes se ressemblent et prêtent à confusion : un topic Kafka surpartitionné dont les partitions à faible trafic deviennent inactives la nuit, une borne d'out-of-orderness trop généreuse qui fait déclencher les fenêtres bien après l'arrivée des données, une stratégie de watermark par partition appliquée après un rebalance qui fait perdre les garanties d'ordre, et des enregistrements tardifs abandonnés sans side output, si bien que personne ne sait que des données manquent.
Environnement
Jobs Apache Flink consommant depuis Kafka ou Kinesis avec une sémantique event time, des agrégations fenêtrées et des interval joins.
Approche
Les ingénieurs d'AceMQ comparent les métriques de watermark courant de chaque subtask à l'activité des partitions sources, ce qui rend un blocage dû à une source inactive évident en quelques minutes. La stratégie de watermark est ensuite revue de bout en bout : où elle est assignée, si l'inactivité (idleness) est configurée, et si la borne d'out-of-orderness correspond au retard mesuré des événements plutôt qu'à une estimation.
Solution
- Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans niveau 1 de tri
- Comparaison des métriques de watermark de chaque subtask avec l'activité des partitions sources pour isoler l'entrée qui bloque
- Configuration de withIdleness sur la stratégie de watermark, calibrée sur les périodes de silence réelles des partitions à faible trafic
- Borne d'out-of-orderness dérivée du retard mesuré en event time plutôt que d'une valeur par défaut
- Assignation des watermarks déplacée dans le connecteur source pour que l'ordre par partition survive aux rebalances et au repartitionnement
- Ajout de side outputs pour les enregistrements tardifs et de métriques de retard, afin de rendre visibles les pertes de données silencieuses
Résultat obtenu
Les fenêtres en event time bloquées reprennent, et la stratégie de watermark sous-jacente ne dépend plus de l'activité permanente de chaque partition. L'ajout de side outputs pour les enregistrements tardifs révèle généralement d'autres pertes de données dont l'équipe n'avait pas connaissance.