Retour à tous les cas d'usage

ConseilServices financiers / paiements

Concevez la couche d'état avant qu'elle ne devienne la raison pour laquelle vous ne pouvez plus déployer

Plateforme de détection de fraude en ligne

Conception du state backend, du partitionnement par clé et de la stratégie de rescaling pour des jobs Flink à état volumineux qui doivent redémarrer sans des heures d'interruption.

Présentation

Les jobs Flink qui portent des centaines de gigaoctets d'état par clé sont soumis à des contraintes d'exploitation que les petits jobs ignorent : les redémarrages prennent un temps réel, les changements de parallélisme imposent une redistribution via savepoint, et une clé mal choisie concentre l'état sur quelques task managers. AceMQ conçoit la couche d'état pour que ces contraintes restent maîtrisables à mesure que le job grandit.

Défi

Les jobs à état volumineux deviennent peu à peu impossibles à déployer. Un savepoint prend tellement de temps qu'un déploiement de routine exige une fenêtre de maintenance : les déploiements sont alors regroupés, et chacun comporte plus de risques. Le max parallelism a été laissé à sa valeur par défaut, si bien que le job ne peut pas dépasser une limite fixe sans reconstruction complète de l'état. La distribution des key groups est déséquilibrée parce que la clé présente un biais, et deux task managers font l'essentiel du travail. Le disque local a été dimensionné pour l'état initial, pas pour l'état actuel.

Environnement

Apache Flink sur Kubernetes avec le state backend RocksDB, un état par clé volumineux et des checkpoints ou savepoints sur stockage objet.

Approche

AceMQ profile la taille et la distribution de l'état par key group et par task manager, puis conçoit l'architecture autour des exigences d'exploitation : budget de temps de redémarrage, plage de parallélisme attendue et rythme des mises à niveau. Le max parallelism et le nombre de key groups sont fixés pour la durée de vie prévue du job plutôt que pour sa taille actuelle, et les chemins de reprise sont testés au lieu d'être présumés.

Solution

  1. Profilage de la taille de l'état et de la distribution des key groups par opérateur et par task manager, pour mettre en évidence les déséquilibres de partitionnement
  2. Max parallelism et nombre de key groups dimensionnés pour la plage de passage à l'échelle attendue du job, et non pour sa taille au lancement
  3. Configuration de RocksDB couvrant la mémoire managée, le block cache, les write buffers, le style de compaction et l'organisation des column families
  4. Dimensionnement du stockage local et choix de la classe de disque pour les working sets RocksDB et la préparation des checkpoints
  5. Stratégie de savepoints, de checkpoints conservés et de reprise locale, avec des budgets de temps de redémarrage mesurés
  6. Runbook de rescaling et de mise à niveau validé par des répétitions, y compris les chemins d'évolution du schéma d'état

Résultat obtenu

Les temps de redémarrage et de rescaling deviennent prévisibles et bornés : les déploiements ne nécessitent plus de fenêtre de maintenance. La distribution de l'état s'équilibre entre les task managers, ce qui supprime l'effet de nœud chaud qui limitait le débit.

Technologies

Apache FlinkRocksDBApache KafkaKubernetes

Besoin de conseils en architecture Apache Flink ?

Les ingénieurs Apache Flink seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.