Préparation KRaft
Mode du cluster, version des métadonnées et conception du quorum de contrôleurs, ainsi que l'inventaire des clients, workers Connect, JVM et outils dont dépend le passage à Kafka 4.x.
Bilan de santé Kafka
Un bilan de santé Kafka est une revue menée par un ingénieur d'un cluster en production, confronté à son usage réel : préparation KRaft, configuration des brokers et des contrôleurs, réplication et ISR, skew des partitions, consumer lag, sécurité, rétention et le monitoring qui aurait dû détecter le dernier incident. Vous recevez un rapport écrit, une liste de correctifs priorisée et le raisonnement derrière chaque constat.
Clients




Partenaires


Est-ce votre cas ?
Vous exploitez Kafka avec ZooKeeper et le passage à la 4.x n'a pas encore été cadré
Le consumer lag grimpe en pic de charge et personne ne s'accorde sur la cause : brokers, partitions ou clients
Les personnes qui ont construit le cluster sont parties et le schéma de topologie n'est plus à jour
Un audit ou un questionnaire de sécurité porte sur les ACL, le TLS et l'authentification des brokers
Le trafic va augmenter : un lancement, un nouveau pipeline de données, un déploiement de CDC (capture des changements de données)
Vous avez surmonté un incident sans le comprendre, et il pourrait se reproduire
Vous hésitez entre support, Kafka managé et mise à niveau, et voulez des faits avant de signer
Résultats
Des changements d’état concrets, pas un décompte de livrables. Voici ce qui change réellement dans votre parc Kafka à la clôture de la mission.
Avant
Personne ne sait quelles versions de Kafka, quel mode et quelles bibliothèques clientes sont en jeu, ni ce qu'une mise à niveau vers la 4.x impacterait.
Un inventaire écrit par broker, contrôleur et groupe de clients, avec le chemin KRaft et l'ordre des opérations détaillés.
Avant
La réplication et la durabilité ont été réglées à la mise en production. Le métier suppose qu'il n'y a aucune perte de données, et personne n'a vérifié que les paramètres le garantissent.
Chaque classe de topic passée en revue au regard des exigences métier en matière de perte et de disponibilité, avec les écarts listés et chiffrés.
Avant
Lag, rééquilibrages et partitions chaudes apparaissent comme des incidents, traités chacun comme un cas isolé.
Les causes structurelles identifiées : nombre de partitions, skew des clés, paramètres des consommateurs et capacité, chacune avec un correctif et un responsable.
Avant
L'équipe sait que le cluster est fragile, mais ne parvient ni à hiérarchiser les risques ni à dimensionner le travail.
Un plan priorisé en trois catégories : à modifier maintenant, à modifier avant la prochaine étape de croissance, et correct en l'état.
Périmètre
Mode du cluster, version des métadonnées et conception du quorum de contrôleurs, ainsi que l'inventaire des clients, workers Connect, JVM et outils dont dépend le passage à Kafka 4.x.
Listeners, répertoires de logs, heap et page cache, quotas et paramètres de threads examinés au regard du matériel et de la charge, chaque valeur non standard étant expliquée ou signalée.
Facteur de réplication, min.insync.replicas et acks des producteurs vérifiés ensemble, ainsi que l'élection de leader non propre (unclean), la prise en compte des racks ou zones et la fréquence réelle de réduction de l'ISR.
Nombre de partitions par topic, distribution des clés, équilibre des leaders entre brokers et topics sans propriétaire. Les partitions chaudes ressemblent à un problème Kafka, mais relèvent généralement de la conception.
L'évolution du lag dans le temps plutôt qu'une mesure ponctuelle, la fréquence des rééquilibrages, les paramètres de session et de poll, et les consumer groups qui ne suivent pas le rythme de leur topic.
Configuration de l'authorizer, couverture des ACL et droits génériques (wildcard), TLS sur les listeners clients et inter-brokers, mécanisme SASL, super-utilisateurs et emplacement des identifiants.
Rétention et compaction par topic au regard de la croissance, marge de capacité des répertoires de logs et durée de reconstruction d'un broker après une panne de disque.
Idempotence des producteurs, acks, nouvelles tentatives et batching, stratégie de commit des consommateurs et versions des bibliothèques utilisées. La plupart des incidents Kafka commencent côté client.
Si les partitions sous-répliquées et hors ligne, l'instabilité de l'ISR, la santé du contrôleur, la latence des requêtes, le disque et le consumer lag sont mesurés et déclenchent des astreintes, et ce qui aurait permis de détecter le dernier incident.
La mission
Chaque phase a une durée définie et se termine par la remise d’un livrable concret. Vous savez toujours à quelle étape vous en êtes et ce que vous avez reçu.
Nous convenons des clusters concernés, des versions de Kafka et du modèle de déploiement (autogéré, Strimzi, Amazon MSK, Confluent), ainsi que des exports en lecture seule nécessaires. L'intervention se déroule à distance, pilotée par vos ingénieurs via partage d'écran. Nous n'accédons ni à votre environnement ni à votre code.
Ce que vous recevez
Un ingénieur Kafka senior examine les neuf domaines à partir de vos exports et métriques, avec votre équipe présente lorsqu'une décision demande du contexte. Les constats sont confrontés à l'historique réel du consumer lag et de la réplication, et non à une checklist générique.
Ce que vous recevez
Le rapport, classé selon ce qui risque de lâcher en premier et dans quelles conditions. Chaque constat précise le correctif, l'effort requis et le risque encouru si rien n'est fait.
Ce que vous recevez
Une restitution avec l'ingénieur qui a réalisé le travail, puis un plan séquencé que votre équipe peut exécuter ou nous confier. La remédiation fait l'objet d'un périmètre distinct : le rapport reste utile quel que soit l'exécutant.
Ce que vous recevez
AceMQ le peut. Un ingénieur Kafka senior passe en revue votre cluster en production, qu'il soit autogéré, Strimzi, Amazon MSK ou Confluent Platform, au regard de son usage réel. Vous recevez un rapport écrit avec une liste de correctifs classés par priorité, présentée par l'ingénieur qui a mené la revue. AceMQ répond aux demandes de devis sous 1 heure.
Un rapport écrit comprenant un inventaire par broker, contrôleur et groupe de clients, des constats étayés par des preuves, des notes sur KRaft et le chemin de mise à niveau, et une liste de correctifs priorisée en trois catégories : à modifier maintenant, à modifier avant la prochaine étape de croissance, et correct en l'état. La remédiation est cadrée et chiffrée séparément, de sorte que le rapport reste utile quel que soit l'intervenant.
Exports en lecture seule (configuration des brokers et des topics, état des consumer groups, historique des métriques), transmis à distance lors d'un partage d'écran. Aucun accès à votre environnement n'est pris.
Apache Kafka 4.0, sorti le 18 mars 2025, ne prend en charge que le mode KRaft. Le mode ZooKeeper a été supprimé, et un cluster basé sur ZooKeeper doit être migré vers KRaft avant de pouvoir passer en 4.0.x. Une évaluation de préparation KRaft répond à une seule question : qu'est-ce qui sépare ce cluster d'une version 4.x prise en charge ?
| Domaine | Ce qu'exige Apache Kafka 4.0 | Ce que nous vérifions |
|---|---|---|
| Mode du cluster | KRaft uniquement. Les clusters ZooKeeper doivent migrer vers KRaft avant de passer en 4.0.x. | Mode actuel, version des métadonnées, topologie des contrôleurs, et si une migration est déjà en cours. |
| Clients | Les clients, y compris Kafka Streams et Connect, doivent être en version 2.1 ou supérieure. | Bibliothèques clientes par application et par worker Connect, et lesquelles sont antérieures à la 2.1. |
| Java | Les brokers, Connect et les outils exigent Java 17. Les clients et Kafka Streams exigent Java 11. | Versions de JVM sur l'ensemble du parc, et applications qui devraient d'abord changer de runtime. |
| Contrôleurs | Les métadonnées du cluster résident dans un quorum de contrôleurs Kafka plutôt que dans un ensemble ZooKeeper. | Nombre et placement des contrôleurs, rôles dédiés ou combinés, et disque pour le log de métadonnées. |
| Exploitation | Tout ce qui dialoguait avec ZooKeeper doit être modifié. | Runbooks, automatisation et monitoring qui interrogent ZooKeeper, ainsi que l'authorizer d'ACL utilisé. |
Notre règle
Ne combinez jamais une migration de plateforme et une mise à niveau de version dans la même fenêtre de production. Le bilan de santé séquence la bascule vers KRaft, la mise à niveau de version et les éventuels changements côté clients en changements distincts.
Le rapport est conçu pour être lu par l'ingénieur qui exploite le cluster comme par le responsable qui finance les correctifs. Voici la structure que suit chaque rapport. Il s'agit d'une structure type, et non d'un document client : elle ne contient aucune donnée client.
| Section | Contenu |
|---|---|
| 1. Synthèse | Les constats les plus susceptibles de provoquer une panne ou une perte de données, en langage clair, avec une cote de risque pour chacun. |
| 2. Inventaire | Brokers, contrôleurs, versions de Kafka et de Java, système d'exploitation, disques, listeners, workers Connect et groupes de clients. |
| 3. Registre des constats | Une ligne par constat : gravité, éléments probants, raison de l'importance, correctif, effort et risque d'attendre. |
| 4. KRaft et chemin de mise à niveau | Préparation à Kafka 4.0, éléments bloquants et ordre des opérations. |
| 5. Lacunes de monitoring | Ce qui est mesuré et déclenche des alertes aujourd'hui, ce qui manque, et les seuils suggérés. |
| 6. Plan de remédiation | Trois catégories : à modifier maintenant, à modifier avant la prochaine étape de croissance, correct en l'état. |
| 7. Annexe | Exports de configuration et contrôles exécutés, pour qu'un second ingénieur puisse vérifier n'importe quel constat. |
Un rapport qui aligne une centaine d'observations sans distinction n'a pas fait le plus difficile : les hiérarchiser. Le nôtre place en tête les quelques constats qui comptent vraiment, et le reste en annexe.
Réussites clients
Découvrez comment des entreprises confient à AceMQ leurs charges de travail Kafka les plus critiques.
Hébergeur européen
Un cluster Kafka de cinq nœuds au service de 60 000 clients voyait ses producteurs tomber en timeout sous charge. La cause était la topologie, pas la capacité.
Plateforme de transactions bancaires
Le débit est passé de 320 000 à environ 45 000 transactions par heure après l'introduction de Kafka. La plateforme devait atteindre 80 000 pour prouver sa capacité à monter en charge.
Constructeur automobile mondial
Remplacer une ingestion fragile fondée sur des triggers SQL par une architecture événementielle fiable pour la circulation des données d'atelier et des opérations à faible latence.
Plateforme européenne de trading en ligne
Une revue indépendante de l'architecture et des performances de RabbitMQ, Kafka et Redis pour une plateforme de trading en ligne.
Groupe technologique international
AceMQ a élaboré une stratégie de conformité multi-technologies couvrant les correctifs CVE de Kafka ainsi que des déploiements RabbitMQ et IBM MQ, pour une gestion unifiée des vulnérabilités sur l'ensemble de la pile de messagerie de l'entreprise.
Fournisseur mondial de paiements (technologie financière)
AceMQ assure le support continu de l'infrastructure de paiement haut débit d'un fournisseur mondial de paiements, qui fait tourner Kafka et RabbitMQ avec de gros volumes de transactions, y compris la validation par tests de charge et l'optimisation de l'architecture.
Grandes entreprises
Le service d'audit Kafka d'AceMQ évalue la santé de l'architecture de streaming, identifie les risques opérationnels et fournit une feuille de route structurée de migration ou de modernisation aux entreprises qui exploitent Kafka ou envisagent de l'adopter.
Grandes entreprises de services financiers
AceMQ accompagne les entreprises qui font migrer leurs charges IBM MQ vers des plateformes de messaging modernes, en orientant chaque charge vers Kafka pour l'event streaming ou vers RabbitMQ pour le messaging transactionnel, selon les exigences propres à chaque cas d'usage.
FAQ
Un bilan de santé Kafka couvre neuf domaines : configuration des brokers et des contrôleurs, réplication et ISR, répartition des partitions et skew, consumer lag et rééquilibrages, sécurité, rétention, configuration des clients, lacunes de monitoring et préparation KRaft. Il aboutit à un rapport écrit avec des preuves pour chaque constat et une liste de correctifs classés par priorité. Il examine le cluster en production à partir de l'historique réel du lag et de la réplication, et non d'une checklist générique.
L'optimisation des performances de Kafka couvre les paramètres et choix de conception qui limitent le débit et la latence : nombre de partitions et clés, batching et acks des producteurs, paramètres de poll et de commit des consommateurs, threads des brokers, marge de capacité disque et réseau, et rétention. Un bilan de santé indique où chercher ; l'optimisation modifie la configuration pour corriger, et fait l'objet d'une mission distincte. Elle est chiffrée selon le nombre de clusters et la profondeur de l'analyse, et non par broker. Envoyez-nous les détails de vos clusters : vous recevez une réponse à votre demande de devis sous 1 heure.
Un bilan de santé Kafka est une revue structurée d'un cluster en production, confronté à son usage réel. Il couvre la préparation KRaft, la configuration des brokers et des contrôleurs, la réplication et l'ISR, le skew des partitions, le consumer lag, les ACL, TLS et SASL, la rétention et le disque, la configuration des clients et les lacunes de monitoring, et se conclut par une liste classée de ce qui cédera en premier et de la manière de le corriger.
En pratique, ils se recoupent. Un bilan de santé, un audit de cluster Kafka et une revue de cluster examinent tous le cluster en production et sa configuration. Une revue d'architecture Kafka voit plus large : elle examine l'adéquation des topics, producteurs, consommateurs et pipelines Connect au besoin métier. Nous cadrons la mission selon la question que vous posez et nous le précisons dès le départ.
De une à quatre semaines entre le lancement et la restitution, selon la complexité du parc, les domaines que vous souhaitez couvrir et le nombre de problèmes rencontrés en chemin. La prise en charge prend une journée, et les constats écrits arrivent dans la semaine qui suit la revue. Les parcs comptant plusieurs clusters ou une topologie riche en Connect se situent en haut de la fourchette, et nous confirmons le calendrier une fois connus le nombre de clusters et les domaines ciblés.
Non. Il nous faut de la visibilité, pas un accès direct. La configuration des brokers et des topics, l'état des consumer groups, la répartition des partitions et de la réplication et l'historique des métriques peuvent être exportés et examinés. Un accès en lecture seule accélère les choses, et pour les environnements réglementés, un export de configuration et une séance de travail avec vos opérateurs suffisent normalement.
Il couvre la préparation : le cluster, les clients, les versions de Java et les outils peuvent-ils passer à Kafka 4.x, et dans quel ordre. Apache Kafka 4.0 ne prend en charge que le mode KRaft : un cluster basé sur ZooKeeper doit donc migrer avant de pouvoir être mis à niveau. La migration elle-même est une mission distincte, décrite dans notre guide de migration de ZooKeeper vers KRaft.
Le monitoring indique ce qui se passe maintenant. Un bilan de santé vous indique ce qui se passera dans des conditions que vous n'avez pas encore rencontrées. Le support est un SLA sur un cluster que votre équipe exploite, avec des objectifs de réponse à partir de 15 minutes, selon le plan. Le bilan de santé est une mission autonome, et aussi la première étape lorsqu'un cluster passe sous support ou en services managés, afin de ne pas refaire le travail.
Il est cadré selon le nombre de clusters et la profondeur de la revue, et non par broker ni par topic. Envoyez-nous le nombre de clusters et votre modèle de déploiement : nous répondons sous 1 heure, puis vous adressons un devis écrit.
Parlons-en
Indiquez-nous combien de clusters vous exploitez et dans quelle version de Kafka. Nous cadrerons la revue, vous répondrons sous 1 heure, puis vous enverrons un calendrier et un devis écrit.
Envoyez-nous un message et nous reviendrons vers vous sous 1 heure, ou réservez directement une consultation gratuite de 30 minutes.
305-204-2607info@acemq.comVous préférez en parler tout de suite ? Appelez-nous directement ou utilisez l'onglet Consultation pour trouver un créneau qui vous convient.