Retour à tous les cas d'usage

SupportIndustrie / automobile

Une seule partition Kafka silencieuse peut figer toutes les fenêtres en event time du job

Fournisseur de télématique pour véhicules connectés

Diagnostic de fenêtres en event time qui ne se déclenchent plus parce qu'une seule partition source inactive retient le watermark de tout le job.

Présentation

Le watermark de Flink correspond au minimum de tous les canaux d'entrée : une seule partition qui cesse de produire des enregistrements bloque le watermark, et toutes les fenêtres en event time en aval cessent de se déclencher. Le job paraît sain (aucune exception, pas de backpressure, des enregistrements qui circulent toujours) alors que la sortie s'arrête silencieusement. AceMQ diagnostique cette catégorie de problèmes ainsi que les défauts de watermark qui lui sont liés.

Défi

Les équipes y perdent des heures parce que tous les indicateurs de santé évidents sont au vert. Les variantes se ressemblent et prêtent à confusion : un topic Kafka surpartitionné dont les partitions à faible trafic deviennent inactives la nuit, une borne d'out-of-orderness trop généreuse qui fait déclencher les fenêtres bien après l'arrivée des données, une stratégie de watermark par partition appliquée après un rebalance qui fait perdre les garanties d'ordre, et des enregistrements tardifs abandonnés sans side output, si bien que personne ne sait que des données manquent.

Environnement

Jobs Apache Flink consommant depuis Kafka ou Kinesis avec une sémantique event time, des agrégations fenêtrées et des interval joins.

Approche

Les ingénieurs d'AceMQ comparent les métriques de watermark courant de chaque subtask à l'activité des partitions sources, ce qui rend un blocage dû à une source inactive évident en quelques minutes. La stratégie de watermark est ensuite revue de bout en bout : où elle est assignée, si l'inactivité (idleness) est configurée, et si la borne d'out-of-orderness correspond au retard mesuré des événements plutôt qu'à une estimation.

Solution

  1. Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans niveau 1 de tri
  2. Comparaison des métriques de watermark de chaque subtask avec l'activité des partitions sources pour isoler l'entrée qui bloque
  3. Configuration de withIdleness sur la stratégie de watermark, calibrée sur les périodes de silence réelles des partitions à faible trafic
  4. Borne d'out-of-orderness dérivée du retard mesuré en event time plutôt que d'une valeur par défaut
  5. Assignation des watermarks déplacée dans le connecteur source pour que l'ordre par partition survive aux rebalances et au repartitionnement
  6. Ajout de side outputs pour les enregistrements tardifs et de métriques de retard, afin de rendre visibles les pertes de données silencieuses

Résultat obtenu

Les fenêtres en event time bloquées reprennent, et la stratégie de watermark sous-jacente ne dépend plus de l'activité permanente de chaque partition. L'ajout de side outputs pour les enregistrements tardifs révèle généralement d'autres pertes de données dont l'équipe n'avait pas connaissance.

Technologies

Apache FlinkApache KafkaKubernetes

Besoin d'un support Apache Flink expert ?

Les ingénieurs Apache Flink seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.