En esta página
Para configurar la recuperación ante desastres en Kafka, se despliega un segundo clúster de Kafka en un dominio de fallo independiente (otra región u otro centro de datos), se replican de forma continua los topics y los offsets de los grupos de consumidores con herramientas como Kafka MirrorMaker 2, Confluent Replicator o AWS MSK Replicator, y se mantiene un runbook de failover probado que redirige productores y consumidores al clúster de destino. La arquitectura que elija (activo-pasivo, activo-activo o stretch cluster) la determinan dos cifras: su objetivo de punto de recuperación (cuánta pérdida de datos puede tolerar) y su objetivo de tiempo de recuperación (con qué rapidez debe restablecer el servicio). Todo lo demás en un plan de recuperación ante desastres de Kafka se deriva de esos dos requisitos de negocio.
Esta guía recorre las principales arquitecturas de recuperación ante desastres con Kafka, los compromisos entre ellas y las trampas operativas (sobre todo la traducción de offsets) que separan un plan que queda bien sobre el papel de uno que sobrevive de verdad a un desastre.
Por qué un único clúster de Kafka no es una estrategia de DR
Apache Kafka suele describirse como tolerante a fallos y, dentro de un único clúster, lo es. Con un factor de replicación de 3, Kafka reparte los datos de cada partición entre varios brokers, de modo que la pérdida de uno o dos brokers de un clúster no provoca pérdida de datos. La elección de líder promueve automáticamente réplicas sincronizadas, y un despliegue bien configurado encaja sin problemas los fallos rutinarios de brokers.
Pero la replicación integrada le protege dentro de un único dominio de fallo. Un único clúster, aunque abarque varios racks, vive en una región, en una red y en un único radio de impacto administrativo. No le protege frente a la pérdida de una región entera, el borrado accidental de un topic, un cambio erróneo de ACL, un quórum KRaft corrupto o una caída del proveedor de nube. La alta disponibilidad y la recuperación ante desastres son disciplinas distintas: la HA mantiene el clúster en marcha ante fallos de componentes; la DR restablece el servicio de Kafka cuando todo el entorno ha desaparecido.
Para los equipos que ejecutan pipelines de datos en tiempo real de los que depende el negocio, esa distinción es la base de la planificación de la continuidad de negocio. Si Kafka es la columna vertebral de los pagos, la logística o la detección de fraude, un tiempo de inactividad de horas no es un resultado aceptable, y tampoco lo es perder eventos en silencio.
Empiece por el RPO y el RTO, no por las herramientas
Antes de comparar herramientas de replicación, fije dos cifras con el negocio:
- Objetivo de punto de recuperación (RPO): la pérdida de datos máxima aceptable, medida en tiempo. Un RPO de cinco minutos significa que puede perder hasta cinco minutos de datos de Kafka en un desastre.
- Objetivo de tiempo de recuperación (RTO): el tiempo máximo aceptable para restablecer el servicio. Un RTO de 30 minutos significa que consumidores y productores deben volver a funcionar en media hora.
Estos objetivos determinan el coste. La replicación asíncrona entre regiones le da un RPO igual a su retraso de replicación (normalmente de segundos a minutos) con un coste moderado. Conseguir un RPO de cero, es decir, un failover sin pérdida de datos, exige replicación síncrona, lo que supone pagar una penalización de latencia en cada solicitud de producción y operar infraestructura en varias zonas de disponibilidad con enlaces rápidos. El tiempo de recuperación que pueda conseguir depende menos de las herramientas y más de lo automatizado y ensayado que esté su procedimiento de failover.
Sea realista con cada carga de trabajo. Un clúster que transporta analítica de clics puede tolerar un punto de recuperación más laxo que uno que transporta transacciones financieras. Muchos equipos acaban con planes de recuperación por niveles: RPO/RTO estrictos para un pequeño conjunto de topics críticos y objetivos más relajados para todo lo demás.
Arquitecturas de recuperación ante desastres en Kafka
Hay cuatro patrones muy utilizados para la recuperación ante desastres de Apache Kafka®. La mayoría de los despliegues en producción usan uno de los dos primeros.
Activo-pasivo con MirrorMaker 2
La estrategia más habitual de DR para Kafka es una pareja activo-pasivo: un clúster primario atiende todo el tráfico mientras MirrorMaker 2 (MM2), que se distribuye con Apache Kafka y se ejecuta sobre el framework Kafka Connect, replica de forma asíncrona los topics, las configuraciones y los offsets de los consumidores en un clúster en espera situado en otra región o centro de datos.
Durante el funcionamiento normal, el clúster pasivo recibe los datos replicados, pero no atiende a ningún cliente. En un desastre, se hace el failover: se apuntan productores y consumidores al clúster en espera, se promueve a primario y se sigue adelante. El RPO equivale al retraso de replicación; el RTO depende de la rapidez con la que se puedan redirigir los clientes, y con direcciones de bootstrap basadas en DNS y una automatización ensayada puede ser de minutos.
El modelo activo-pasivo es popular porque es conceptualmente sencillo, funciona con herramientas de código abierto y mantiene barato el clúster en espera (puede ser más pequeño hasta que se promueve). Sus debilidades son asimétricas: el failback una vez pasado el desastre suele ser más difícil que el failover, y una sincronización de offsets sin probar puede romper en silencio la reanudación de los consumidores; lo vemos más adelante.
Kafka activo-activo
En una topología de Kafka activo-activo, dos (o más) clústeres en regiones distintas atienden tráfico real y cada uno replica en el otro, normalmente con MM2 o Confluent Cluster Linking. Los clientes de cada región producen y consumen en local, lo que reduce la latencia entre regiones para usuarios distribuidos geográficamente y hace que el failover sea en gran medida un ejercicio de enrutamiento del tráfico: si una región cae, la otra ya está en servicio.
El precio es la complejidad. Un Kafka multirregión en modo activo-activo exige una nomenclatura de topics cuidadosa (MM2 antepone a los topics replicados el alias del clúster de origen para evitar bucles de replicación infinitos), aplicaciones que toleren la consistencia eventual entre regiones y una estrategia para evitar el procesamiento duplicado cuando un grupo de consumidores cambia de clúster. No existe un orden global entre regiones. Para el caso de uso adecuado (cargas de trabajo siempre activas y distribuidas geográficamente), el modelo activo-activo ofrece el mejor RTO posible. Para un producto de una sola región, suele ser sobreingeniería.
Stretch clusters
Un stretch cluster es un único despliegue de Kafka cuyos brokers se reparten entre varios centros de datos o zonas de disponibilidad y que usa replicación síncrona (acks=all con min.insync.replicas aplicado entre sedes), de modo que cada escritura llega al menos a dos ubicaciones antes de confirmarse. Si se pierde una sede entera, el clúster sigue funcionando: sin evento de failover, sin traducción de offsets y con un RPO de cero.
El problema es la física y el coste. Cada solicitud de producción paga la latencia de ida y vuelta entre sedes, así que los stretch clusters solo son prácticos entre sedes con enlaces de baja latencia (normalmente por debajo de ~50 ms, idealmente zonas de disponibilidad dentro de una misma región, con diseños 2.5DC/3DC para ubicar el quórum). En contra de lo que podría parecer, un stretch cluster no siempre es más caro que la replicación entre clústeres (se opera un clúster en lugar de dos), pero no protege frente a desastres regionales cuando todas las sedes comparten región, y nunca protege frente a errores de los operadores, que se replican al instante en todas las sedes.
Copia de seguridad y restauración en almacenamiento de objetos
La replicación de clústeres no sustituye a las copias de seguridad. La replicación copia fielmente los errores: un topic borrado o unos datos venenosos (poison pill) se replican en su sede de DR en cuestión de segundos. Hacer snapshots periódicos de los topics críticos en almacenamiento de objetos (mediante sinks S3 de Kafka Connect o almacenamiento por niveles) le ofrece una recuperación a un punto en el tiempo que la replicación no puede darle, a costa de una restauración mucho más lenta. Considérelo un complemento, no un sustituto, de un clúster en espera en funcionamiento.
Comparativa de arquitecturas de DR para Kafka
| Arquitectura | RPO habitual | RTO habitual | Coste relativo | Complejidad | Uso más adecuado |
|---|---|---|---|---|---|
| Activo-pasivo (MM2) | Segundos–minutos (retraso asíncrono) | Minutos–horas | $$ | Moderada | La mayoría de las cargas de trabajo empresariales |
| Activo-activo | Segundos (por región) | Segundos–minutos | $$$ | Alta | Sistemas distribuidos geográficamente y siempre activos |
| Stretch cluster | Cero | Casi cero (automático) | $$–$$$ | Moderada–alta | Sedes de baja latencia, requisitos de cero pérdida de datos |
| Copia de seguridad/restauración | Horas (intervalo de snapshot) | Horas | $ | Baja | Cumplimiento normativo, recuperación ante errores de operación |
¿Tiene Kafka en producción sin un plan de failover ensayado? Los ingenieros sénior de AceMQ diseñan, implementan y ponen a prueba la recuperación ante desastres de Kafka, y cuando algo se rompe a las 3 de la madrugada, nuestro equipo de soporte 24/7 trabaja con objetivos de respuesta desde 15 minutos, según el plan. Hable con un ingeniero de Kafka.
El problema de la traducción de offsets (donde fallan de verdad los planes de DR)
El modo de fallo más sutil en la recuperación ante desastres de Kafka no es perder datos, sino que los consumidores se reanuden en el lugar equivocado. Los offsets son propios de cada clúster: el offset 1.000.000 del primario no es el offset 1.000.000 del clúster de destino, porque la replicación empieza en momentos distintos, la retención elimina rangos distintos y la compactación reescribe los logs de forma diferente.
MirrorMaker 2 resuelve esto con checkpoints: el MirrorCheckpointConnector emite periódicamente en el destino los offsets traducidos de los grupos de consumidores y, desde Kafka 2.7, puede sincronizarlos directamente en el topic __consumer_offsets del destino. Pero hay trampas que muerden en los failovers reales:
- Granularidad de los checkpoints. La sincronización de offsets es periódica (por defecto, cada 60 segundos). Un consumidor que hace failover aterriza en el último checkpoint, no en el último registro consumido: cuente con reprocesamiento y haga que los consumidores sean idempotentes.
- La traducción va por detrás de la replicación. MM2 solo puede traducir un offset cuando el registro correspondiente ya se ha replicado. Si el retraso de replicación se dispara durante la caída que provoca el failover, los offsets traducidos se quedan aún más atrás.
- Los grupos deben estar inactivos para sincronizarse. MM2 no sobrescribe los offsets de los grupos de consumidores conectados activamente al clúster de destino, algo que sorprende a los equipos que prueban el failover con consumidores activos en ambos lados.
- Calle de un solo sentido. Los checkpoints fluyen del origen al destino. Volver al primario original tras una recuperación correcta exige replicación inversa y su propia pasada de traducción de offsets: planifique y pruebe el failback de forma explícita.
- Los procesadores de streams arrastran estado adicional. Los jobs de Kafka Streams y Apache Flink mantienen estado interno (topics de changelog, checkpoints/savepoints de Flink) que debe recuperarse de forma coherente, no solo los datos de los topics.
Si no puede decir con precisión dónde se reanudará cada grupo de consumidores tras el failover, todavía no tiene un plan de recuperación ante desastres: tiene un pipeline de replicación.
Cómo crear y probar un plan de recuperación ante desastres de Kafka
Un plan de recuperación ante desastres viable para un entorno Kafka cubre cinco aspectos:
- Alcance y objetivos. Qué topics, qué grupos de consumidores y qué RPO/RTO por nivel, aprobados por el negocio y no solo por el equipo de plataforma.
- Configuración de la replicación. Cómo configura MM2 o la replicación del servicio de Kafka que haya elegido: filtros de topics, intervalos de sincronización de offsets, replicación de ACL y de esquemas (no se olvide de Schema Registry: los consumidores de la sede de DR necesitan los esquemas) y monitorización del retraso de replicación con umbrales de alerta ligados a su RPO.
- Runbook de failover. Procedimientos de recuperación exactos y ejecutables: quién decide, cómo se redirigen los clientes (DNS, descubrimiento de servicios, envío de configuración), cómo se verifican los offsets y cómo se confirma que la recuperación ha sido correcta.
- Runbook de failback. Cómo vuelven los cambios replicados y cómo se regresa a la situación estable sin pérdida de datos ni avalanchas de duplicados.
- Un calendario de pruebas. Game days trimestrales como mínimo. Simule fallos de brokers, tire una zona de disponibilidad y después ensaye un failover regional completo en staging con un tráfico con la forma del de producción. Mida el RTO que consigue de verdad y actualice la documentación cada vez que la realidad no coincida con el plan.
La DR que no se prueba falla. Cualquier operador veterano de Kafka ha visto un pipeline de replicación que funcionó tranquilamente durante un año mientras se saltaba en silencio un topic por un filtro mal configurado, algo que solo se descubrió durante la caída real.
Kafka gestionado y recuperación ante desastres en la nube
Las plataformas gestionadas cambian la mecánica, pero no la responsabilidad. En AWS, MSK Replicator ofrece replicación gestionada entre regiones para MSK, mientras que MirrorMaker 2 sigue siendo la herramienta preferida para topologías híbridas y multicuenta. Confluent ofrece Cluster Linking, que replica los datos conservando los offsets byte a byte en un clúster de Confluent Cloud (lo que elimina el problema de la traducción de offsets), y las opciones multirregión de Confluent Cloud pueden automatizar buena parte del failover. Son capacidades realmente útiles, pero todas ellas siguen exigiéndole definir el RPO/RTO, preparar la redirección de los clientes y ensayar el runbook. Una replicación gestionada no es una recuperación gestionada.
Si lo que hay detrás de este artículo es una cuestión de arquitectura y no un incidente en curso (estrategia de particiones, dimensionamiento, diseño de seguridad, una migración), la consultoría de Kafka de AceMQ pone a un ingeniero sénior asignado a trabajar en ello.
Este es el paso ocho de diez de la guía de operaciones de Kafka, que aborda las decisiones operativas en el orden en que se presentan en una plataforma en producción.
Preguntas frecuentes
¿Cuál es la estrategia de recuperación ante desastres más habitual para clústeres de Kafka?
La replicación de clústeres activo-pasivo con MirrorMaker 2 es el enfoque más habitual: una réplica asíncrona de los topics y de los offsets de los consumidores en un clúster en espera situado en otra región, combinada con un procedimiento ensayado de failover de los clientes. Equilibra coste, sencillez y un RPO/RTO sólido para la mayoría de las cargas de trabajo.
¿Se puede conseguir una recuperación ante desastres en Kafka sin pérdida de datos?
Sí, pero solo con replicación síncrona: un stretch cluster repartido entre zonas de disponibilidad con acks=all y un min.insync.replicas adecuado, o una funcionalidad de la plataforma que ofrezca escrituras síncronas entre sedes. Las herramientas asíncronas como Kafka MirrorMaker 2 siempre implican un RPO igual al retraso de replicación, así que un failover sin pérdida de datos no puede garantizarse solo con replicación asíncrona.
¿Con qué frecuencia debemos probar un plan de recuperación ante desastres de Kafka?
Como mínimo, cada trimestre, y además después de cualquier cambio relevante en el despliegue de Kafka (actualizaciones de versión, nuevos topics críticos, cambios de topología). Una prueba completa incluye un failover regional en un entorno de staging, la verificación del punto en el que se reanuda cada grupo de consumidores crítico y la medición del RTO frente a su objetivo.
¿No son los stretch clusters más caros que la replicación entre clústeres?
No necesariamente. Un stretch cluster es un único clúster repartido entre varias sedes, mientras que la replicación entre clústeres obliga a ejecutar y operar dos clústeres completos más la capa de replicación. Los stretch clusters cuestan más en latencia y en red, y exigen enlaces de alta calidad, pero pueden costar menos en hardware y en operación. Las limitaciones reales son el presupuesto de latencia y el hecho de que un stretch cluster dentro de una sola región no sobrevive a la pérdida de toda la región.
¿Qué es MirrorMaker 2 y cómo funciona?
MirrorMaker 2 es la herramienta de replicación entre clústeres que se distribuye con Apache Kafka, definida en la KIP-382 y basada en el framework Kafka Connect. Consume de un clúster de origen y produce en un clúster de destino, y replica topics, configuraciones de topics, grupos de consumidores con sus offsets, y ACL. Por defecto, un topic replicado se renombra con el alias del clúster de origen como prefijo, de modo que orders, de un clúster llamado us-west, se convierte en us-west.orders en el destino. Esa nomenclatura es lo que permite montar configuraciones active-active sin bucles de replicación, y también el motivo por el que los runbooks de failover tienen que dirigir a los consumidores hacia los topics renombrados.
¿Qué ocurre con los offsets de los consumidores durante un failover?
Con MirrorMaker 2, los checkpoints traducen periódicamente los offsets de los grupos de consumidores del clúster de origen al de destino. En un failover, los consumidores se reanudan desde el último checkpoint traducido, normalmente algo por detrás de su posición real, así que algunos registros se vuelven a procesar. Los consumidores deben ser idempotentes, y los intervalos de sincronización de offsets deben ajustarse por debajo de su RPO. Confluent Cluster Linking evita por completo la traducción porque conserva los offsets byte a byte. --- La recuperación ante desastres en Kafka es una estrategia de resiliencia, no un producto que se instala: elija la arquitectura que encaje con su RPO y su RTO, replique los datos con herramientas que entienda, vigile al detalle el comportamiento de los offsets y pruebe hasta que el failover resulte aburrido. No espere a la caída para descubrir las carencias. AceMQ ofrece soporte empresarial 24/7 para Kafka de código abierto con ingenieros sénior de guardia y objetivos de respuesta desde 15 minutos, según el plan: desde revisiones de arquitectura de DR hasta ser el equipo al que llama cuando una región se queda a oscuras. Descubra los servicios de Kafka de AceMQ o contrate cobertura de soporte 24/7.
Guías, comparativas e investigación
Profundice en Kafka
Guías
2Comparativas
9- NATS vs Kafka en 2026: comparativa de Core NATS, JetStream y Kafka
- Mosquitto vs Kafka: ¿broker MQTT o log de eventos?
- Kafka vs Kinesis: comparativa
- Mejores proveedores de Kafka gestionado en 2026, más allá de los hiperescaladores
- Comparativa de opciones de Kafka BYOC (en su propia nube)
- Alternativas a Confluent y competidores tras la adquisición por IBM

