On this page
Per impostare il disaster recovery di Kafka si distribuisce un secondo cluster Kafka in un dominio di guasto indipendente (una regione o un data center separati), vi si replicano di continuo topic e offset dei consumer group con strumenti come Kafka MirrorMaker 2, Confluent Replicator o AWS MSK Replicator, e si mantiene un runbook di failover testato che reindirizza producer e consumer verso il cluster di destinazione. L'architettura da scegliere (active-passive, active-active o stretch cluster) dipende da due numeri: il recovery point objective (quanta perdita di dati potete tollerare) e il recovery time objective (in quanto tempo dovete ripristinare il servizio). Tutto il resto di un piano di disaster recovery Kafka discende da questi due requisiti di business.
Questa guida esamina le principali architetture di disaster recovery con Kafka, i compromessi tra di esse e le insidie operative, soprattutto la traduzione degli offset, che distinguono un piano convincente sulla carta da uno che sopravvive davvero a uno scenario di disastro.
Perché un singolo cluster Kafka non è una strategia di DR
Apache Kafka viene spesso descritto come fault-tolerant, e all'interno di un singolo cluster è vero. Con un replication factor di 3, Kafka distribuisce i dati delle partizioni su più broker, quindi la perdita di uno o due broker nel cluster non provoca perdita di dati. La leader election promuove automaticamente le repliche in-sync e un deployment ben configurato assorbe senza problemi i guasti ordinari dei broker.
La replica integrata però vi protegge all'interno di un solo dominio di guasto. Un singolo cluster, anche se distribuito su più rack, vive in una regione, in una rete e in un unico perimetro amministrativo di impatto. Non protegge dalla perdita di un'intera regione, dalla cancellazione accidentale di un topic, da una modifica errata alle ACL, da un quorum KRaft corrotto o da un fermo del cloud provider. Alta disponibilità e disaster recovery sono discipline diverse: l'HA mantiene il cluster in funzione attraverso i guasti dei componenti; il DR ripristina il servizio Kafka dopo che l'intero ambiente è andato perso.
Per i team che gestiscono pipeline di dati in tempo reale da cui dipende il business, questa distinzione è il fondamento della pianificazione della business continuity. Se Kafka è la spina dorsale di pagamenti, logistica o rilevamento frodi, un downtime misurato in ore non è un risultato accettabile, e non lo è nemmeno perdere eventi in silenzio.
Partire da RPO e RTO, non dagli strumenti
Prima di confrontare gli strumenti di replica, fissate due numeri insieme al business:
- Recovery point objective (RPO): la massima perdita di dati accettabile, misurata in tempo. Un RPO di cinque minuti significa che in caso di disastro potete perdere fino a cinque minuti di dati Kafka.
- Recovery time objective (RTO): il tempo massimo accettabile per ripristinare il servizio. Un RTO di 30 minuti significa che consumer e producer devono tornare operativi entro mezz'ora.
Questi obiettivi determinano i costi. La replica asincrona tra regioni offre un RPO pari al replication lag (di solito da secondi a minuti) a un costo moderato. Ottenere un RPO pari a zero, cioè un failover senza perdita di dati, richiede la replica sincrona, il che significa pagare una penalità di latenza su ogni richiesta di produce e gestire un'infrastruttura distribuita su più availability zone con collegamenti veloci. Il tempo di ripristino raggiungibile dipende meno dagli strumenti e più da quanto la procedura di failover è automatizzata e provata.
Siate onesti su ogni carico di lavoro. Un cluster che trasporta analytics di clickstream può tollerare un recovery point meno stringente di uno che trasporta transazioni finanziarie. Molti team adottano piani di ripristino a livelli: RPO/RTO rigorosi per un piccolo insieme di topic critici, obiettivi più rilassati per tutto il resto.
Architetture di disaster recovery per Kafka
Esistono quattro pattern ampiamente usati per il disaster recovery di Apache Kafka®. La maggior parte dei deployment in produzione usa uno dei primi due.
Active-passive con MirrorMaker 2
La strategia più comune per il DR di Kafka è una coppia active-passive: un cluster primario serve tutto il traffico mentre MirrorMaker 2 (MM2), incluso in Apache Kafka ed eseguito sul framework Kafka Connect, replica in modo asincrono topic, configurazioni e offset dei consumer verso un cluster di standby in un'altra regione o in un altro data center.
Durante il normale funzionamento il cluster passivo riceve i dati replicati ma non serve alcun client. In uno scenario di disastro si esegue il failover: si puntano producer e consumer sullo standby, lo si promuove a primario e si prosegue. L'RPO è pari al replication lag; l'RTO dipende dalla rapidità con cui si reindirizzano i client: con indirizzi di bootstrap basati su DNS e un'automazione già provata, può trattarsi di minuti.
L'active-passive è diffuso perché è concettualmente semplice, funziona con strumenti open source e mantiene economico il cluster di standby (che può restare più piccolo finché non viene promosso). I suoi punti deboli sono asimmetrici: il failback, una volta passato il disastro, è spesso più difficile del failover, e una sincronizzazione degli offset non testata può compromettere in silenzio la ripresa dei consumer, come vedremo più avanti.
Kafka active-active
In una topologia Kafka active-active, due (o più) cluster in regioni diverse servono entrambi traffico reale, replicandosi a vicenda, di solito con MM2 o Confluent Cluster Linking. I client di ogni regione producono e consumano in locale, riducendo la latenza cross-region per utenti distribuiti geograficamente, e il failover diventa in gran parte una questione di instradamento del traffico: se una regione cade, l'altra è già operativa.
Il prezzo è la complessità. Kafka multi-region in modalità active-active richiede un'attenta denominazione dei topic (MM2 antepone ai topic replicati l'alias del cluster di origine per evitare loop di replica infiniti), applicazioni che tollerino la consistenza eventuale tra regioni e una strategia per evitare elaborazioni duplicate quando un consumer group si sposta. Non esiste un ordinamento globale tra le regioni. Per il caso d'uso giusto, cioè carichi di lavoro always-on e distribuiti geograficamente, l'active-active offre il miglior RTO disponibile. Per un prodotto a regione singola, di solito è un eccesso di ingegnerizzazione.
Stretch cluster
Uno stretch cluster è un singolo deployment Kafka i cui broker sono distribuiti su più data center o availability zone e usano la replica sincrona (acks=all con min.insync.replicas applicato tra i siti), così ogni scrittura arriva in almeno due posizioni prima di essere confermata. Se si perde un intero sito il cluster continua a funzionare: nessun evento di failover, nessuna traduzione degli offset, RPO pari a zero.
Il limite è dato dalla fisica e dai costi. Ogni richiesta di produce paga la latenza di andata e ritorno tra i siti, quindi gli stretch cluster sono praticabili solo tra siti con collegamenti a bassa latenza (di solito sotto i ~50 ms, idealmente AZ all'interno di una regione, con design 2.5DC/3DC per il posizionamento del quorum). Contrariamente all'intuizione, uno stretch cluster non è sempre più costoso del mirroring, perché si gestisce un cluster invece di due, ma non protegge dai disastri regionali quando tutti i siti si trovano nella stessa regione e non protegge mai dagli errori degli operatori, che si replicano istantaneamente su ogni sito.
Backup e ripristino su object storage
La replica tra cluster non sostituisce i backup. La replica copia fedelmente anche gli errori: un topic cancellato o dati poison-pill vengono replicati sul sito di DR in pochi secondi. Salvare periodicamente snapshot dei topic critici su object storage (tramite sink S3 di Kafka Connect o tiered storage) offre un ripristino point-in-time che la replica non può dare, al prezzo di un ripristino molto più lento. Va considerato un complemento a uno standby attivo, non un suo sostituto.
Confronto tra le architetture di DR per Kafka
| Architettura | RPO tipico | RTO tipico | Costo relativo | Complessità | Ideale per |
|---|---|---|---|---|---|
| Active-passive (MM2) | Da secondi a minuti (lag asincrono) | Da minuti a ore | $$ | Media | La maggior parte dei carichi di lavoro aziendali |
| Active-active | Secondi (per regione) | Da secondi a minuti | $$$ | Alta | Sistemi always-on distribuiti geograficamente |
| Stretch cluster | Zero | Quasi nullo (automatico) | $$–$$$ | Da media ad alta | Siti a bassa latenza, obblighi di zero perdita di dati |
| Backup e ripristino | Ore (intervallo degli snapshot) | Ore | $ | Bassa | Conformità, ripristino da errori degli operatori |
Kafka in produzione senza un piano di failover già provato? Gli ingegneri senior di AceMQ progettano, implementano e mettono alla prova sul campo il disaster recovery per Kafka e, quando qualcosa si rompe alle 3 di notte, il nostro team di supporto 24/7 lavora con obiettivi di risposta da 15 minuti, in base al piano. Parlate con un ingegnere Kafka.
Il problema della traduzione degli offset (dove i piani di DR falliscono davvero)
La modalità di guasto più subdola nel disaster recovery di Kafka non è la perdita di dati, ma la ripresa dei consumer dal punto sbagliato. Gli offset sono specifici di ogni cluster: l'offset 1.000.000 sul primario non è l'offset 1.000.000 sul cluster di destinazione, perché la replica parte in momenti diversi, la retention elimina intervalli diversi e la compaction riscrive i log in modo diverso.
MirrorMaker 2 affronta il problema con il checkpointing: MirrorCheckpointConnector emette periodicamente verso la destinazione gli offset tradotti dei consumer group e, da Kafka 2.7, può sincronizzarli direttamente nel topic __consumer_offsets della destinazione. Ma ci sono insidie che si fanno sentire nei failover reali:
- Granularità dei checkpoint. La sincronizzazione degli offset è periodica (predefinita: ogni 60 secondi). Un consumer che esegue il failover riparte dall'ultimo checkpoint, non dall'ultimo record consumato: mettete in conto la rielaborazione e rendete idempotenti i consumer.
- La traduzione resta indietro rispetto alla replica. MM2 può tradurre un offset solo dopo che il record corrispondente è stato replicato. Se il replication lag ha un picco durante il fermo che fa scattare il failover, gli offset tradotti restano ancora più indietro.
- I gruppi devono essere inattivi per la sincronizzazione. MM2 non sovrascrive gli offset dei consumer group connessi attivamente al cluster di destinazione, il che sorprende i team che testano il failover con consumer attivi su entrambi i lati.
- Una strada a senso unico. I checkpoint vanno dall'origine alla destinazione. Tornare al primario originale dopo un ripristino riuscito richiede la replica inversa e un proprio passaggio di traduzione degli offset: pianificate e testate esplicitamente il failback.
- Gli stream processor hanno stato aggiuntivo. I job Kafka Streams e Apache Flink mantengono uno stato interno (changelog topic, checkpoint/savepoint di Flink) che va ripristinato in modo coerente, non solo i dati dei topic.
Se non sapete dire con precisione da dove riprenderà ogni consumer group dopo il failover, non avete ancora un piano di disaster recovery: avete una pipeline di replica.
Costruire e testare un piano di disaster recovery Kafka
Un piano di disaster recovery praticabile per un'infrastruttura Kafka copre cinque aspetti:
- Perimetro e obiettivi. Quali topic, quali consumer group, quali RPO/RTO per ogni livello, approvati dal business e non solo dal team di piattaforma.
- Configurazione della replica. Come configurate MM2 o la replica del servizio Kafka scelto: filtri sui topic, intervalli di sincronizzazione degli offset, replica di ACL e schemi (non dimenticate Schema Registry: i consumer sul sito di DR hanno bisogno degli schemi) e monitoraggio del replication lag con soglie di alert legate all'RPO.
- Runbook di failover. Procedure di ripristino precise ed eseguibili: chi decide, come vengono reindirizzati i client (DNS, service discovery, push della configurazione), come si verificano gli offset e come si conferma che il ripristino è riuscito.
- Runbook di failback. Come le modifiche replicate tornano indietro e come si ritorna allo stato normale senza perdita di dati né ondate di duplicati.
- Un calendario di test. Game day almeno trimestrali. Simulate guasti dei broker, eliminate un'availability zone, poi provate il failover regionale completo in staging con traffico di forma analoga alla produzione. Misurate l'RTO che ottenete davvero e aggiornate la documentazione ogni volta che la realtà smentisce il piano.
Il DR non testato fallisce. Ogni operatore Kafka esperto ha visto una pipeline di mirroring girare tranquilla per un anno saltando in silenzio un filtro sui topic configurato male, scoperto solo durante il fermo reale.
Kafka gestito e disaster recovery nel cloud
Le piattaforme gestite cambiano i meccanismi ma non la responsabilità. Su AWS, MSK Replicator offre la replica cross-region gestita per MSK, mentre MirrorMaker 2 resta lo strumento d'elezione per topologie ibride e multi-account. Confluent offre Cluster Linking, che replica i dati in un cluster Confluent Cloud preservando gli offset byte per byte ed eliminando così il problema della traduzione degli offset, e le opzioni multi-region di Confluent Cloud possono automatizzare buona parte del failover. Sono funzionalità davvero utili, ma ciascuna richiede comunque di definire RPO/RTO, predisporre il reindirizzamento dei client e provare il runbook. Una replica gestita non è un ripristino gestito.
Se la domanda dietro questo articolo riguarda l'architettura più che un incidente in corso (strategia di partizionamento, dimensionamento, progettazione della sicurezza, una migrazione), la consulenza Kafka di AceMQ vi affianca un ingegnere senior dedicato.
Questo è l'ottavo passaggio su dieci della guida alle operazioni Kafka, che affronta le decisioni operative nell'ordine in cui si presentano in un ambiente di produzione.
Domande frequenti
Qual è la strategia di disaster recovery più diffusa per i cluster Kafka?
L'approccio più diffuso è la replica active-passive tra cluster con MirrorMaker 2: un mirror asincrono di topic e offset dei consumer verso un cluster di standby in un'altra regione, abbinato a una procedura di failover dei client già provata. Bilancia costi, semplicità e valori di RPO/RTO solidi per la maggior parte dei carichi di lavoro.
Il disaster recovery di Kafka può garantire zero perdita di dati?
Sì, ma solo con la replica sincrona: uno stretch cluster distribuito su più availability zone con acks=all e un valore adeguato di min.insync.replicas, oppure una funzionalità di piattaforma che offra scritture sincrone tra siti. Gli strumenti asincroni come Kafka MirrorMaker 2 comportano sempre un RPO pari al replication lag, quindi con il solo mirroring asincrono non si può garantire un failover senza perdita di dati.
Ogni quanto va testato un piano di disaster recovery Kafka?
Almeno ogni trimestre, più dopo ogni modifica sostanziale al deployment Kafka (aggiornamenti di versione, nuovi topic critici, cambi di topologia). Un test completo comprende il failover regionale in un ambiente di staging, la verifica del punto da cui riprende ogni consumer group critico e la misura dell'RTO confrontata con l'obiettivo.
Gli stretch cluster non costano più del mirroring?
Non necessariamente. Uno stretch cluster è un unico cluster distribuito su più siti, mentre il mirroring richiede di gestire due cluster completi più il livello di replica. Gli stretch cluster costano di più in latenza e networking e richiedono collegamenti di alta qualità, ma possono costare meno in hardware e operatività. I vincoli reali sono il budget di latenza e il fatto che uno stretch cluster all'interno di una sola regione non sopravvive alla perdita dell'intera regione.
Che cos'è MirrorMaker 2 e come funziona?
MirrorMaker 2 è lo strumento di replica tra cluster incluso in Apache Kafka, definito nella KIP-382 e basato sul framework Kafka Connect. Consuma da un cluster di origine e produce verso un cluster di destinazione, replicando i topic, le relative configurazioni, i consumer group con i loro offset e le ACL. Per impostazione predefinita un topic replicato viene rinominato con l'alias del cluster di origine come prefisso, quindi orders di un cluster chiamato us-west diventa us-west.orders sulla destinazione. È proprio questa convenzione di naming a rendere possibili le configurazioni active-active senza loop di replica, ed è anche il motivo per cui i runbook di failover devono puntare i consumer sui topic rinominati.
Che cosa succede agli offset dei consumer durante un failover?
Con MirrorMaker 2 i checkpoint traducono a intervalli regolari gli offset dei consumer group dal cluster di origine a quello di destinazione. Al failover i consumer riprendono dall'ultimo checkpoint tradotto, di solito leggermente indietro rispetto alla posizione reale, quindi alcuni record vengono rielaborati. I consumer devono essere idempotenti e gli intervalli di sincronizzazione degli offset vanno impostati più stretti dell'RPO. Confluent Cluster Linking evita del tutto la traduzione perché preserva gli offset byte per byte. --- Il disaster recovery di Kafka è una strategia di resilienza, non un prodotto da installare: scegliete l'architettura adatta a RPO e RTO, replicate i dati con strumenti che conoscete, curate in modo maniacale il comportamento degli offset e testate finché il failover non diventa una routine. Non aspettate il fermo per scoprire le lacune. AceMQ offre supporto enterprise 24/7 per Kafka open source con ingegneri senior reperibili e obiettivi di risposta da 15 minuti, in base al piano, dalla revisione dell'architettura di DR fino a essere il team da chiamare quando una regione va giù. Scoprite i servizi Kafka di AceMQ o attivate una copertura di supporto 24/7.
Guide, confronti e ricerche

