Présentation
Un job Flink soumis à une backpressure prolongée ne parvient pas à faire traverser ses barrières dans le pipeline à temps, et les checkpoints expirent. Chaque expiration signifie davantage d'état à écrire à la tentative suivante, et le job finit par redémarrer depuis un ancien checkpoint en rejouant assez de données pour garantir l'échec suivant. AceMQ brise ce cercle et traite la croissance de l'état qui en est à l'origine.
Défi
Le symptôme visible est un échec de checkpoint hebdomadaire ou nocturne qui dégénère en boucle de redémarrages. En profondeur, plusieurs facteurs se cumulent : un opérateur dont le keyed state croît et dont l'ensemble de travail RocksDB ne tient plus dans le budget de mémoire managée, des barrières alignées bloquées derrière un sink lent, et un intervalle et un timeout de checkpoint choisis lorsque l'état ne représentait qu'une fraction de sa taille actuelle. Augmenter seulement le timeout déplace l'échec sans le supprimer.
Environnement
Apache Flink sur Kubernetes ou YARN avec le state backend RocksDB, checkpoints vers S3 ou HDFS, consommation depuis Kafka.
Approche
AceMQ décompose la durée des checkpoints en phases synchrone, asynchrone et d'alignement à partir de l'interface et des métriques de Flink, ce qui montre si le coût vient de la taille de l'état, de l'alignement des barrières ou du système de fichiers distant. La backpressure est remontée jusqu'à l'opérateur ou au sink précis qui la provoque. La remédiation cible ensuite la phase en cause : checkpoints non alignés et checkpoints incrémentaux pour le coût d'alignement, réglage de la mémoire et de la compaction RocksDB pour le coût de l'état, et TTL d'état là où l'état n'aurait jamais dû grossir autant.
Solution
- Décomposition de la durée des checkpoints en phases synchrone, asynchrone et d'alignement pour identifier la contrainte réelle
- Remontée de la backpressure jusqu'à l'opérateur ou au sink précis qui bloque la propagation des barrières
- Activation des checkpoints non alignés et du buffer debloating lorsque l'alignement derrière des opérateurs lents domine
- Checkpoints incrémentaux, avec un dimensionnement corrigé de la mémoire managée RocksDB, du block cache et du write buffer en fonction de la taille actuelle de l'état
- Application d'une TTL d'état et d'une politique de nettoyage au keyed state qui s'accumule sans limite
- Nouveau réglage de l'intervalle, du timeout et de la pause minimale entre checkpoints en fonction de la durée mesurée, avec une stratégie de redémarrage ajustée pour mettre fin aux boucles de rejeu
Résultat obtenu
L'échec récurrent des checkpoints est éliminé, et leur durée revient dans une plage stable, avec une marge confortable par rapport à l'intervalle. Les jobs n'entrent plus en boucle de redémarrages, car un checkpoint lent ne condamne plus le suivant à l'échec.