Panoramica
Redpanda parla il protocollo Kafka senza ZooKeeper né JVM, il che elimina un notevole onere operativo. Di solito la migrazione è lineare, ma le parti che non lo sono (librerie client datate, strumenti di amministrazione e presupposti interni a Kafka nel codice esistente) conviene scoprirle in un ambiente di test piuttosto che in produzione.
Sfida
Ogni producer e consumer del parco installato è una questione di compatibilità. Le versioni più vecchie delle librerie client negoziano le funzionalità del protocollo in modo diverso, gli strumenti di amministrazione possono dipendere da metriche JMX o da percorsi ZooKeeper che non esistono più, e worker Kafka Connect, applicazioni Streams e agent di monitoraggio hanno ciascuno le proprie aspettative. La configurazione lato broker non ha una corrispondenza uno a uno, e gli offset dei consumer group vanno trasferiti in modo che nessun messaggio venga rielaborato o saltato.
Ambiente
Cluster Apache Kafka su Kubernetes o VM con client in linguaggi e versioni diversi, Schema Registry, Kafka Connect e ACL esistenti, in migrazione verso Redpanda.
Approccio
AceMQ censisce ogni client per libreria e versione, poi lo mette alla prova su un cluster Redpanda in un ambiente di test che copre le funzionalità del protocollo effettivamente usate: transazioni, produce idempotente, protocollo dei consumer group e operazioni di amministrazione. I topic migrano a ondate tramite MirrorMaker o gli strumenti di migrazione di Redpanda con traduzione degli offset, mantenendo il doppio consumo finché ciascun consumer non è stato validato.
Soluzione
- Censimento dei client per linguaggio, libreria e versione, con una matrice di test di compatibilità per ogni funzionalità del protocollo in uso
- Validazione in ambiente di test di transazioni, produce idempotente, ribilanciamento dei consumer group e chiamate alle API di amministrazione su Redpanda
- Conversione della configurazione dei broker, comprese le impostazioni di partizioni, retention e compaction che non hanno una corrispondenza uno a uno
- Migrazione di ACL e Schema Registry con verifica del meccanismo di autenticazione di ciascun client
- Replica topic per topic con traduzione degli offset dei consumer group e validazione in doppio consumo prima del cutover
- Monitoraggio e alerting ricostruiti sulle metriche di Redpanda, in sostituzione delle dashboard Kafka basate su JMX
Esito
I clienti eseguono il cutover topic per topic con la compatibilità dei client verificata in anticipo, e dismettono il livello operativo ZooKeeper o KRaft insieme al tuning della JVM che lo accompagnava. I problemi di compatibilità emergono nell'ambiente di test anziché durante un cutover in produzione.