Que sont les services Kafka managés ?
Avec des services managés Kafka, un tiers exploite vos clusters Apache Kafka : monitoring, astreinte, correctifs, mises à niveau, capacité et réponse aux incidents. Un service hébergé comme Amazon MSK, Confluent Cloud ou Aiven exécute Kafka dans le compte du fournisseur et vous laisse la conception des topics, les clients et Connect. AceMQ propose deux modèles. Nous exploitons Kafka sur votre propre infrastructure, de sorte que les données et le compte restent les vôtres, ou nous hébergeons un cluster dédié sur la nôtre. Dans les deux cas, un spécialiste Kafka est responsable de toute la plateforme, clients et Connect compris.
En quoi est-ce différent d'Amazon MSK ou de Confluent Cloud ?
Amazon Managed Streaming for Apache Kafka (Amazon MSK) propose Apache Kafka entièrement managé en clusters MSK Provisioned ou MSK Serverless, avec Amazon MSK Connect pour les connecteurs et MSK Replicator pour la réplication vers un cluster d'une autre Région. Confluent Cloud propose un service Kafka entièrement managé sur les principaux clouds. Tous deux hébergent Kafka dans l'environnement du fournisseur et gèrent l'infrastructure des brokers ; la conception des topics, les clients, les connecteurs et la plupart des causes d'incidents restent à votre charge. AceMQ exploite Kafka là où il tourne déjà, dans votre compte, ou héberge pour vous un cluster dédié sur l'infrastructure AceMQ, et dans les deux cas assume la responsabilité de toute la plateforme, clients et Connect compris. Les équipes font ce choix lorsque la résidence des données, la maîtrise des versions, un ingénieur attitré ou l'absence de dépendance fournisseur (vendor lock-in) comptent. Les compromis sont détaillés dans le comparatif des offres Kafka managées.
En quoi Kafka managé diffère-t-il du support Kafka d'AceMQ ?
Le support est un SLA sur un cluster exploité par votre équipe : vous êtes d'astreinte et vous nous appelez en cas de panne. Avec les services managés, c'est nous qui l'exploitons : monitoring, correctifs, mises à niveau, capacité et astreinte sont à notre charge. Les organisations dotées d'une équipe plateforme solide optent généralement pour le support (étapes 1 et 2) ; celles qui ne veulent plus avoir à se soucier de Kafka choisissent les services managés (étapes 3 et 4).
Quelles sont les quatre étapes de l'externalisation de l'exploitation Kafka ?
L'étape 1 est le support réactif : vous exploitez Kafka et ouvrez des tickets auprès d'un spécialiste selon un SLA. L'étape 2 est le support proactif : vous exploitez et possédez toujours le cluster, et AceMQ ajoute la supervision et l'alerting via sa plateforme d'observabilité pour détecter les problèmes tôt. L'étape 3 est Kafka managé sur votre infrastructure : AceMQ exploite le cluster dans votre compte et assure l'astreinte. L'étape 4 est Kafka managé sur l'infrastructure AceMQ : AceMQ héberge et exploite pour vous un cluster dédié. L'astreinte change de mains à l'étape 3.
AceMQ peut-il héberger Kafka pour nous ?
Oui. À l'étape 4, AceMQ héberge et exploite un cluster Kafka dédié sur sa propre infrastructure : vous recevez des endpoints bootstrap sans compte cloud, cluster Kubernetes ni planning d'astreinte à gérer. Le monitoring, les correctifs, les mises à niveau, la capacité et la réponse aux incidents sont identiques à ceux que nous assurons lorsque Kafka tourne dans votre compte, avec la même intervention d'urgence. Si la conformité ou la résidence des données imposent que le cluster reste dans votre compte, nous l'y exploitons à l'étape 3.
Comment choisir un fournisseur de services managés Kafka ?
Quatre critères. Où tourne le cluster, et pouvez-vous choisir entre votre compte et celui du fournisseur. Le fournisseur prend-il en charge les clients, Kafka Connect, Schema Registry et MirrorMaker 2 en plus des brokers, puisque c'est là que commencent de nombreux incidents. Qui est d'astreinte, et en combien de temps un ingénieur senior répond-il. Et à quoi ressemble la sortie : des runbooks et une documentation de topologie qui vous appartiennent, pas une reconstruction. AceMQ est un fournisseur de services managés Kafka qui propose les deux modèles d'hébergement et formalise ces quatre réponses par écrit.
Pouvez-vous reprendre un cluster Kafka, Strimzi ou Confluent Platform existant ?
Oui. La plupart des parcs que nous reprenons sont hérités. Nous commençons par une évaluation de la version et du niveau de correctifs, de la topologie, de la répartition des partitions et de la réplication, des consumer groups, de Connect et des lacunes du monitoring, nous corrigeons les risques actifs, et seulement ensuite nous prenons l'astreinte.
Prenez-vous en charge la migration de ZooKeeper vers KRaft ?
Oui. KRaft (Kafka Raft) conserve les métadonnées du cluster dans un quorum de contrôleurs Kafka au lieu d'un ensemble Apache ZooKeeper séparé : il n'y a plus qu'un seul système à sécuriser, superviser et mettre à niveau. Apache Kafka 4.x a supprimé ZooKeeper : tout cluster basé sur ZooKeeper doit donc migrer vers KRaft avant de passer en 4.x. Nous la planifions et l'exécutons, conception du quorum de contrôleurs, phases de migration et jalons de version compris, dans vos fenêtres de changement.
Que deviennent les versions de Kafka que le projet Apache ne maintient plus ?
Elles restent couvertes pendant que vous planifiez la mise à niveau. Le projet Apache ne corrige les bugs que sur ses versions les plus récentes. Pour les correctifs de sécurité sur les branches plus anciennes, la plateforme OSSeva d'AceMQ assure le rétroportage des correctifs de CVE sur Apache Kafka 2.8.x à 3.7.x.
En combien de temps intervenez-vous en cas de panne ?
Les urgences, comme des brokers arrêtés, des partitions hors ligne ou un consumer group qui ne se stabilise pas, bénéficient d'objectifs de réponse à partir de 15 minutes, selon le plan, de la part d'un ingénieur senior, 24/7. Comme nous exploitons déjà la plateforme, la plupart de ces incidents sont détectés par notre monitoring avant que votre équipe ne les remarque.
Kafka managé ou Kafka autogéré : que choisir ?
Kafka autogéré vous donne le contrôle total des versions, de la configuration, de la résidence des données et des coûts, mais votre équipe assure l'astreinte et les mises à niveau. Un service managé hébergé comme Amazon MSK, MSK Serverless ou Confluent Cloud supprime l'exploitation des brokers, mais transfère le cluster dans un compte du fournisseur et vous laisse toujours la conception des topics, les clients et Kafka Connect. Un service managé exploité conserve le contrôle de Kafka autogéré tout en confiant l'exploitation à un spécialiste, et un cluster dédié hébergé par AceMQ vous décharge aussi de l'infrastructure. Les questions décisives : où les données doivent-elles résider, qui doit être d'astreinte, et quelle est la prévisibilité de la charge de streaming.
Pouvez-vous exploiter Kafka managé sur Google Cloud ou Azure ?
Oui. Nous exploitons Apache Kafka dans votre propre projet Google Cloud, abonnement Azure ou compte AWS, sur machines virtuelles ou Kubernetes, ainsi qu'on-premise. Les alternatives hébergées sont Google Cloud Managed Service for Apache Kafka et Confluent Cloud sur Google Cloud, et Amazon MSK sur AWS. Nous aidons les équipes à les comparer à l'exploitation de Kafka dans leur propre compte ou sur un cluster dédié hébergé par AceMQ, et nous assurons le support des clusters sur chacune d'elles.
Pour quelles charges de travail utilise-t-on Kafka managé ?
Les mêmes charges de streaming temps réel que Kafka partout ailleurs : microservices orientés événements, CDC (capture des changements de données) vers une plateforme de données, pipelines de logs et de métriques, flux de paiements et de commandes, télémétrie IoT, et alimentation du traitement de flux dans Kafka Streams ou Flink. L'exploitation managée est la plus précieuse lorsque le stream est critique pour l'activité et que l'équipe qui construit dessus ne devrait pas aussi l'exploiter.
Peut-on travailler avec AceMQ sur Kafka sans contrat long ?
Oui. AceMQ intervient sur Kafka de deux façons : des missions ponctuelles pour un travail défini, comme un bilan de santé, une mise à niveau ou un incident, ou un partenariat annuel couvrant le support 24/7, les revues proactives et des ingénieurs attitrés. De nombreuses équipes commencent par une mission ponctuelle puis passent à un partenariat annuel une fois la première mission terminée.
Combien coûtent les services managés Kafka ?
Kafka managé fait l'objet d'un devis selon le périmètre, sans prix catalogue : le prix dépend du nombre d'environnements et de nœuds, du SLA, de l'exploitation de Kafka par AceMQ sur votre infrastructure (niveau 3) ou sur la nôtre (niveau 4), ainsi que du processus d'accès et de changement dont vous avez besoin. Demandez un devis : AceMQ vous répond sous 1 heure.