Présentation
Redpanda parle le protocole Kafka sans ZooKeeper ni JVM, ce qui supprime une charge d'exploitation importante. La migration est généralement simple, mais les points qui ne le sont pas — bibliothèques clientes anciennes, outils d'administration et hypothèses propres au fonctionnement interne de Kafka dans le code existant — gagnent à être découverts dans un banc de test plutôt qu'en production.
Défi
Chaque producteur et chaque consommateur du parc pose une question de compatibilité. Les anciennes versions de bibliothèques clientes négocient différemment les fonctionnalités du protocole, les outils d'administration peuvent dépendre de métriques JMX ou de chemins ZooKeeper qui n'existent plus, et les workers Kafka Connect, les applications Streams et les agents de supervision ont chacun leurs propres attentes. La configuration côté broker ne se transpose pas à l'identique, et les offsets des consumer groups doivent être reportés pour qu'aucun message ne soit retraité ni sauté.
Environnement
Clusters Apache Kafka sur Kubernetes ou sur des VM avec des clients de langages et de versions variés, Schema Registry, Kafka Connect et des ACL existantes, en cours de migration vers Redpanda.
Approche
AceMQ inventorie chaque client par bibliothèque et par version, puis le confronte à un cluster Redpanda dans un banc de test couvrant les fonctionnalités du protocole qu'il utilise réellement : transactions, production idempotente, protocole des consumer groups et opérations d'administration. Les topics migrent par vagues via MirrorMaker ou l'outillage de migration de Redpanda, avec traduction des offsets, en double consommation jusqu'à la validation de chaque consommateur.
Solution
- Inventaire des clients par langage, bibliothèque et version, avec une matrice de tests de compatibilité pour chaque fonctionnalité du protocole utilisée
- Validation en banc de test des transactions, de la production idempotente, du rééquilibrage des consumer groups et des appels à l'API d'administration face à Redpanda
- Transposition de la configuration des brokers, y compris les paramètres de partitions, de rétention et de compaction qui ne se transposent pas à l'identique
- Migration des ACL et du Schema Registry avec vérification du mécanisme d'authentification de chaque client
- Réplication topic par topic avec traduction des offsets des consumer groups et validation en double consommation avant la bascule
- Supervision et alerting reconstruits sur les métriques de Redpanda, en remplacement des dashboards Kafka basés sur JMX
Résultat obtenu
Les clients basculent topic par topic avec une compatibilité des clients vérifiée en amont, et abandonnent la couche d'exploitation ZooKeeper ou KRaft ainsi que le tuning de JVM qui l'accompagnait. Les problèmes de compatibilité apparaissent dans le banc de test plutôt que pendant une bascule en production.