Torna a tutti i casi d'uso

ConsulenzaServizi finanziari / Pagamenti

Compatibile con Kafka non significa identico: testate i client prima del cutover

Processore globale di pagamenti

Migrazione da Kafka a Redpanda con test di compatibilità dei client, conversione di ACL e schema registry e cutover graduale topic per topic.

Panoramica

Redpanda parla il protocollo Kafka senza ZooKeeper né JVM, il che elimina un notevole onere operativo. Di solito la migrazione è lineare, ma le parti che non lo sono (librerie client datate, strumenti di amministrazione e presupposti interni a Kafka nel codice esistente) conviene scoprirle in un ambiente di test piuttosto che in produzione.

Sfida

Ogni producer e consumer del parco installato è una questione di compatibilità. Le versioni più vecchie delle librerie client negoziano le funzionalità del protocollo in modo diverso, gli strumenti di amministrazione possono dipendere da metriche JMX o da percorsi ZooKeeper che non esistono più, e worker Kafka Connect, applicazioni Streams e agent di monitoraggio hanno ciascuno le proprie aspettative. La configurazione lato broker non ha una corrispondenza uno a uno, e gli offset dei consumer group vanno trasferiti in modo che nessun messaggio venga rielaborato o saltato.

Ambiente

Cluster Apache Kafka su Kubernetes o VM con client in linguaggi e versioni diversi, Schema Registry, Kafka Connect e ACL esistenti, in migrazione verso Redpanda.

Approccio

AceMQ censisce ogni client per libreria e versione, poi lo mette alla prova su un cluster Redpanda in un ambiente di test che copre le funzionalità del protocollo effettivamente usate: transazioni, produce idempotente, protocollo dei consumer group e operazioni di amministrazione. I topic migrano a ondate tramite MirrorMaker o gli strumenti di migrazione di Redpanda con traduzione degli offset, mantenendo il doppio consumo finché ciascun consumer non è stato validato.

Soluzione

  1. Censimento dei client per linguaggio, libreria e versione, con una matrice di test di compatibilità per ogni funzionalità del protocollo in uso
  2. Validazione in ambiente di test di transazioni, produce idempotente, ribilanciamento dei consumer group e chiamate alle API di amministrazione su Redpanda
  3. Conversione della configurazione dei broker, comprese le impostazioni di partizioni, retention e compaction che non hanno una corrispondenza uno a uno
  4. Migrazione di ACL e Schema Registry con verifica del meccanismo di autenticazione di ciascun client
  5. Replica topic per topic con traduzione degli offset dei consumer group e validazione in doppio consumo prima del cutover
  6. Monitoraggio e alerting ricostruiti sulle metriche di Redpanda, in sostituzione delle dashboard Kafka basate su JMX

Esito

I clienti eseguono il cutover topic per topic con la compatibilità dei client verificata in anticipo, e dismettono il livello operativo ZooKeeper o KRaft insieme al tuning della JVM che lo accompagnava. I problemi di compatibilità emergono nell'ambiente di test anziché durante un cutover in produzione.

Tecnologie

RedpandaApache KafkaKubernetesApache Flink

Vi servono indicazioni sull'architettura Redpanda?

Gli ingegneri Redpanda senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.