Présentation
Les jobs Flink qui portent des centaines de gigaoctets d'état par clé sont soumis à des contraintes d'exploitation que les petits jobs ignorent : les redémarrages prennent un temps réel, les changements de parallélisme imposent une redistribution via savepoint, et une clé mal choisie concentre l'état sur quelques task managers. AceMQ conçoit la couche d'état pour que ces contraintes restent maîtrisables à mesure que le job grandit.
Défi
Les jobs à état volumineux deviennent peu à peu impossibles à déployer. Un savepoint prend tellement de temps qu'un déploiement de routine exige une fenêtre de maintenance : les déploiements sont alors regroupés, et chacun comporte plus de risques. Le max parallelism a été laissé à sa valeur par défaut, si bien que le job ne peut pas dépasser une limite fixe sans reconstruction complète de l'état. La distribution des key groups est déséquilibrée parce que la clé présente un biais, et deux task managers font l'essentiel du travail. Le disque local a été dimensionné pour l'état initial, pas pour l'état actuel.
Environnement
Apache Flink sur Kubernetes avec le state backend RocksDB, un état par clé volumineux et des checkpoints ou savepoints sur stockage objet.
Approche
AceMQ profile la taille et la distribution de l'état par key group et par task manager, puis conçoit l'architecture autour des exigences d'exploitation : budget de temps de redémarrage, plage de parallélisme attendue et rythme des mises à niveau. Le max parallelism et le nombre de key groups sont fixés pour la durée de vie prévue du job plutôt que pour sa taille actuelle, et les chemins de reprise sont testés au lieu d'être présumés.
Solution
- Profilage de la taille de l'état et de la distribution des key groups par opérateur et par task manager, pour mettre en évidence les déséquilibres de partitionnement
- Max parallelism et nombre de key groups dimensionnés pour la plage de passage à l'échelle attendue du job, et non pour sa taille au lancement
- Configuration de RocksDB couvrant la mémoire managée, le block cache, les write buffers, le style de compaction et l'organisation des column families
- Dimensionnement du stockage local et choix de la classe de disque pour les working sets RocksDB et la préparation des checkpoints
- Stratégie de savepoints, de checkpoints conservés et de reprise locale, avec des budgets de temps de redémarrage mesurés
- Runbook de rescaling et de mise à niveau validé par des répétitions, y compris les chemins d'évolution du schéma d'état
Résultat obtenu
Les temps de redémarrage et de rescaling deviennent prévisibles et bornés : les déploiements ne nécessitent plus de fenêtre de maintenance. La distribution de l'état s'équilibre entre les task managers, ce qui supprime l'effet de nœud chaud qui limitait le débit.