Présentation
Flink est la bonne réponse pour le traitement de flux avec état, la sémantique de temps d'événement et les garanties exactly-once, et une réponse coûteuse pour des transformations sans état qu'un consommateur plus simple prendrait en charge. AceMQ confronte la charge à ce que Flink exige réellement en exploitation et remet une recommandation accompagnée d'un dimensionnement.
Défi
Les projets de streaming sont cadrés sur des chiffres de débit et passent à côté des exigences qui font le coût : l'exactly-once de bout en bout est-il vraiment nécessaire et les sinks peuvent-ils le prendre en charge, quel volume d'état par clé la logique implique-t-elle à la cardinalité de production, quel retard en temps d'événement les systèmes amont produisent-ils réellement, et l'équipe saura-t-elle exploiter les checkpoints, les savepoints et le redimensionnement ? Ce sont ces décisions qui déterminent si la plateforme est viable dans la durée.
Environnement
Plateformes de streaming nouvelles ou en expansion sur Kubernetes, avec des sources Kafka ou Redpanda et des sinks mêlant usages analytiques et opérationnels.
Approche
AceMQ part des exigences de traitement réelles (sémantique, cardinalité de l'état, tolérance au retard et garanties de livraison) plutôt que du seul débit. Lorsque Flink est adapté, nous dimensionnons le cluster et la couche d'état et définissons le modèle d'exploitation. Lorsqu'il ne l'est pas, nous le disons et identifions le composant plus simple qui convient.
Solution
- Classification des charges distinguant le traitement avec état en temps d'événement des transformations sans état qui n'ont pas besoin de Flink
- Modélisation de la cardinalité de l'état au volume de clés de production, avec l'empreinte mémoire et disque qui en découle
- Revue de la sémantique de livraison couvrant le rejeu des sources, l'idempotence des sinks et l'existence du support des sinks transactionnels requis pour l'exactly-once
- Mesure du retard en temps d'événement sur les données amont réelles pour régler les paramètres de watermarks et de fenêtres
- Dimensionnement du cluster : nombre de task managers, slots, buffers réseau et débit du stockage des checkpoints
- Définition du modèle d'exploitation couvrant le mode de déploiement, la politique de savepoints, le processus de mise à niveau et les alertes dont l'équipe a besoin pour l'exploiter
Résultat obtenu
Les clients obtiennent, pour chaque charge, une décision argumentée de construire ou de renoncer, avec un dimensionnement qui reflète les exigences réelles d'état et de sémantique. Plusieurs charges basculent généralement vers un consommateur plus simple, ce qui réduit la surface d'exploitation que l'équipe doit assurer.