Retour à tous les cas d'usage

ConseilServices financiers / paiements

Compatible Kafka ne veut pas dire identique — testez les clients avant de basculer

Processeur de paiements international

Migrer de Kafka vers Redpanda avec des tests de compatibilité des clients, la transposition des ACL et du schema registry, et une bascule progressive topic par topic.

Présentation

Redpanda parle le protocole Kafka sans ZooKeeper ni JVM, ce qui supprime une charge d'exploitation importante. La migration est généralement simple, mais les points qui ne le sont pas — bibliothèques clientes anciennes, outils d'administration et hypothèses propres au fonctionnement interne de Kafka dans le code existant — gagnent à être découverts dans un banc de test plutôt qu'en production.

Défi

Chaque producteur et chaque consommateur du parc pose une question de compatibilité. Les anciennes versions de bibliothèques clientes négocient différemment les fonctionnalités du protocole, les outils d'administration peuvent dépendre de métriques JMX ou de chemins ZooKeeper qui n'existent plus, et les workers Kafka Connect, les applications Streams et les agents de supervision ont chacun leurs propres attentes. La configuration côté broker ne se transpose pas à l'identique, et les offsets des consumer groups doivent être reportés pour qu'aucun message ne soit retraité ni sauté.

Environnement

Clusters Apache Kafka sur Kubernetes ou sur des VM avec des clients de langages et de versions variés, Schema Registry, Kafka Connect et des ACL existantes, en cours de migration vers Redpanda.

Approche

AceMQ inventorie chaque client par bibliothèque et par version, puis le confronte à un cluster Redpanda dans un banc de test couvrant les fonctionnalités du protocole qu'il utilise réellement : transactions, production idempotente, protocole des consumer groups et opérations d'administration. Les topics migrent par vagues via MirrorMaker ou l'outillage de migration de Redpanda, avec traduction des offsets, en double consommation jusqu'à la validation de chaque consommateur.

Solution

  1. Inventaire des clients par langage, bibliothèque et version, avec une matrice de tests de compatibilité pour chaque fonctionnalité du protocole utilisée
  2. Validation en banc de test des transactions, de la production idempotente, du rééquilibrage des consumer groups et des appels à l'API d'administration face à Redpanda
  3. Transposition de la configuration des brokers, y compris les paramètres de partitions, de rétention et de compaction qui ne se transposent pas à l'identique
  4. Migration des ACL et du Schema Registry avec vérification du mécanisme d'authentification de chaque client
  5. Réplication topic par topic avec traduction des offsets des consumer groups et validation en double consommation avant la bascule
  6. Supervision et alerting reconstruits sur les métriques de Redpanda, en remplacement des dashboards Kafka basés sur JMX

Résultat obtenu

Les clients basculent topic par topic avec une compatibilité des clients vérifiée en amont, et abandonnent la couche d'exploitation ZooKeeper ou KRaft ainsi que le tuning de JVM qui l'accompagnait. Les problèmes de compatibilité apparaissent dans le banc de test plutôt que pendant une bascule en production.

Technologies

RedpandaApache KafkaKubernetesApache Flink

Besoin de conseils en architecture Redpanda ?

Les ingénieurs Redpanda seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.