Zurück zu allen Kundenbeispielen

BeratungFinanzdienstleistungen / Zahlungsverkehr

Kafka-kompatibel heißt nicht identisch – testen Sie die Clients vor der Umstellung

Globaler Zahlungsdienstleister

Migration von Kafka zu Redpanda mit Kompatibilitätstests der Clients, Übertragung von ACLs und Schema Registry sowie gestaffelter Umstellung pro Topic.

Überblick

Redpanda spricht das Kafka-Protokoll ohne ZooKeeper und ohne JVM, was einen erheblichen Teil des Betriebsaufwands wegfallen lässt. Die Migration ist meist unkompliziert. Die Teile, die es nicht sind – ältere Client-Libraries, Admin-Werkzeuge und Kafka-interne Annahmen im bestehenden Code –, sollte man aber besser in einer Testumgebung finden als in Produktion.

Herausforderung

Jeder Producer und jeder Consumer in der Landschaft ist eine Kompatibilitätsfrage. Ältere Versionen von Client-Libraries handeln Protokollfunktionen anders aus, Admin-Werkzeuge hängen womöglich von JMX-Metriken oder ZooKeeper-Pfaden ab, die es nicht mehr gibt, und Kafka-Connect-Worker, Streams-Anwendungen und Monitoring-Agents haben jeweils eigene Erwartungen. Die Broker-Konfiguration lässt sich nicht eins zu eins übertragen, und die Offsets der Consumer Groups müssen mitgenommen werden, damit keine Nachricht erneut verarbeitet oder übersprungen wird.

Umgebung

Apache-Kafka-Cluster auf Kubernetes oder VMs mit Clients in gemischten Sprachen und Versionen, Schema Registry, Kafka Connect und bestehenden ACLs, die zu Redpanda migriert werden.

Vorgehen

AceMQ erfasst jeden Client nach Library und Version und testet ihn dann in einer Testumgebung gegen einen Redpanda-Cluster – mit genau den Protokollfunktionen, die er tatsächlich nutzt: Transaktionen, idempotentes Produce, Consumer-Group-Protokoll und Admin-Operationen. Die Topics werden in Wellen mit MirrorMaker oder den Migrationswerkzeugen von Redpanda samt Offset-Übersetzung migriert, mit parallelem Konsum, bis jeder Consumer validiert ist.

Lösung

  1. Inventar der Clients nach Sprache, Library und Version, mit einer Matrix für Kompatibilitätstests pro genutzter Protokollfunktion
  2. Validierung von Transaktionen, idempotentem Produce, Consumer-Group-Rebalancing und Admin-API-Aufrufen gegen Redpanda in der Testumgebung
  3. Übertragung der Broker-Konfiguration, einschließlich der Einstellungen für Partitionen, Retention und Compaction, die sich nicht eins zu eins abbilden lassen
  4. Migration von ACLs und Schema Registry mit Prüfung des Authentifizierungsmechanismus pro Client
  5. Replikation Topic für Topic mit Übersetzung der Consumer-Group-Offsets und Validierung durch parallelen Konsum vor der Umstellung
  6. Monitoring und Alerting auf Basis der Redpanda-Metriken neu aufgebaut, als Ersatz für JMX-basierte Kafka-Dashboards

Resultat

Kunden stellen Topic für Topic um, mit vorab geprüfter Client-Kompatibilität, und legen die Betriebsschicht aus ZooKeeper oder KRaft samt dem zugehörigen JVM-Tuning still. Kompatibilitätsprobleme zeigen sich in der Testumgebung statt während einer Umstellung in Produktion.

Technologien

RedpandaApache KafkaKubernetesApache Flink

Brauchen Sie Architekturberatung für Redpanda?

Die Senior Engineers von AceMQ für Redpanda haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.